フィルタ付きポップ再帰遷移ネットワーク（FPRTN）は、自然言語を解析するための計算モデルであり、1988年にエディンバラ大学の研究者らによる技術報告書で初めて記述された。これは、より初期の再帰遷移ネットワーク（RTN）形式を拡張し、フィルタ付きポップと呼ばれる機構を追加することで、単純なRTNでは処理できない特定の文脈依存的な文法構文を扱えるようにしたものである。FPRTNは決定的解析に関する研究の一環として開発され、後に構文解析に対するコネクショニスト的およびニューラル的アプローチへの初期の影響として認識されるようになった。
FPRTNの核となる考え方は、プッシュダウンオートマトンと同様に、サブネットワークを再帰的に呼び出すことができる状態と遷移のネットワークである。標準的なRTNでは、ポップ操作はサブネットワークから呼び出し元へ制御を戻すが、複数のサブネットワークがアクティブな場合、これは曖昧さを引き起こす可能性がある。フィルタ付きポップは、ポップが許可される前に満たされなければならない条件、すなわちフィルタを追加し、それによって探索空間を制約し、パーサが長距離依存関係や一致現象を扱えるようにする。フィルタは通常、ネットワークを通じて伝播される素性構造または文脈情報に基づいている。
歴史的発展
FPRTNは1980年代後半に、英国のアルベイ自然言語研究プログラムの一環として導入された。主な出版物は、エディンバラ大学のクリス・メリッシュらを含む研究者による「フィルタ付きポップ再帰遷移ネットワーク」と題された1988年の報告書である。この研究は、1970年代のウィリアム・ウッズによるBBN（ボルト・ベラネク・アンド・ニューマン）でのRTNモデルなど、LUNAR質問応答システムで使用された初期のRTNモデルに基づいていた。エディンバラのグループは、実世界のテキストに対するRTNベースのパーサの効率と適用範囲を改善することを目指した。
このアプローチは後に、RTNにレジスタと条件の機構を追加した「拡張遷移ネットワーク」（ATN）の文脈で議論された。FPRTNは、決定的解析に焦点を当て、バックトラッキングを減らす、ATNよりも制約の強い代替手段を提供した。この技法はコネクショニスト的解析でも探求され、フィルタ条件がニューラルネットワークの活性化として実装され、記号的パラダイムとサブシンボリックパラダイムを結び付けた。
技術的説明
形式的には、FPRTNは状態の集合、ラベル付き遷移の集合、およびサブネットワークの呼び出しと戻りの操作の集合を持つ有向グラフである。各遷移は条件に関連付けることができ、各ポップ操作には満たされなければならないフィルタがある。パーサはアクティブなサブネットワークコンテキストのスタックを維持する。ポップが試みられると、フィルタは現在の入力とスタックの先頭をチェックし、フィルタが失敗した場合、ポップはブロックされ、パーサは代替経路を探索しなければならない。この機構は、単一化文法における素性単一化の使用と類似しており、現代のNLPシステムで使用される素性ベースの解析の先駆けと見なすことができる。
FPRTNの重要な特性は、正規文法よりも表現力が高いが、完全な文脈依存文法ほど表現力が高くないことである。これらは、オランダ語やスイスドイツ語などの言語で一般的な交差連続依存関係を扱うことができるが、計算的に扱いやすい方法で行う。フィルタリング機構は効率的に実装でき、このモデルは特定の構文を多項式時間で解析できることが示されたが、制約のないATNは指数関数的になる可能性があった。
ニューラルモデルへの影響
FPRTNは記号的伝統の中で開発されたが、後のニューラルネットワークベースの解析モデルへのインスピレーションとして引用されている。1990年代に、エディンバラ大学などの研究者は、遷移決定がニューラルネットワークによって行われたRTNのコネクショニスト的実装を探求した。この研究系統は、言語処理のための系列変換モデルとリカレントネットワークの開発に影響を与えた。最近では、学習されたコントローラを持つスタック状構造のアイデアが、2010年代にGoogle DeepMindで開発されたニューラルスタックマシンや微分可能ニューラルコンピュータなどのモデルに登場している。
フィルタ付きポップ機構は、現代のトランスフォーマーにおける注意機構やゲーティング機構と概念的に類似している。例えば、トランスフォーマーにおけるマルチヘッド注意は、学習された関連性に基づいて情報が選択的に伝播されるフィルタリングのソフト版と見なすことができる。FPRTNの明示的なスタックは、トランスフォーマーにおける位置エンコーディングや層ごとの処理に類似しているが、後者は明示的に構文構造のために設計されているわけではない。研究者は、FPRTNがニューラルパーサの帰納的バイアスを理解するための明確な形式的枠組みを提供すると指摘している。
応用と遺産
FPRTNは主に英語や他の言語の実験的パーサで使用された。これらは、1980年代後半に英国の大学に配布されたアルベイ自然言語ツールキットに組み込まれた。この形式はまた、1990年代の主要プロジェクトであるSRIインターナショナルのコア言語エンジン（CLE）の開発にも使用された。CLEは単一化文法とRTN様の制御構造の組み合わせを使用し、その設計は初期の音声アシスタントの言語理解コンポーネントなど、後の商用システムに影響を与えた。
2000年代には、記号的解析への関心は統計的およびニューラル的アプローチに取って代わられて衰退したが、FPRTNの概念は文法形式の研究やハイブリッドシステムの設計において依然として関連性がある。フィルタ付きポップのアイデアは、文脈依存的な制約が必要なプログラム解析や意味解析など、他の領域にも適用されている。2020年代現在、この形式は大規模言語モデルとその構文構造を捉える能力に関する研究で時折引用されており、トランスフォーマーの挙動をRTNベースのパーサと比較する研究もある。
関連項目
- 再帰遷移ネットワーク
- 拡張遷移ネットワーク
- 自然言語処理
- 構文解析
- 単一化文法
- ニューラルネットワーク
- トランスフォーマー
- 系列変換
- Google DeepMind