計算意味論は、人工知能と計算言語学の下位分野であり、自然言語表現の意味表現を自動的に構築・操作することに焦点を当てている。この分野は、論理と数学を用いて言語的意味を記述する形式意味論と、実用的な工学を橋渡しし、コンピュータが人間が生成したテキストの内容を処理・保存・推論することを可能にする。この学問は、文の意味をどのように表現するか、その表現を構文と単語からどのように導出するか、そしてそのような表現を大規模言語モデルから質問応答エンジンに至るまで、知的システムでどのように利用するかといった問題に取り組む。
歴史的に、計算意味論は1970年代から1980年代にかけて、データベース問い合わせインターフェースなどの制限された領域を解析・解釈する取り組みから生まれた。そこでは、形式文法が文を直接論理形式にマッピングできた。初期のシステムは、アロンゾ・チャーチが導入したラムダ計算を用いて、構成性、すなわち全体の意味が部分の意味とその組み合わせ規則の関数であるという原理を扱った。リチャード・モンタギューなどの研究者は、1960年代後半から1970年代前半にかけて、自然言語が論理と同じ形式的手法で分析できることを示し、これは自動化を重視する分野である計算意味論が強く依存する基礎的洞察となった。1990年代までに、関心は制約のないテキストに適した頑健でスケーラブルな手法へと移り、コーパスベースの確率的手法と論理フレームワークを統合した。
構成的方法と形式フレームワーク
古典的な計算意味論は構成性に基づき、ニューラルネットワークと記号論理を用いて表現を構築する。標準的なアプローチは、文の構文解析木を、型付きラムダ計算を介して、一階述語論理またはその拡張における論理式に変換する。例えば、「Every dog sleeps」という文は、∀x(dog(x) → sleep(x)) と表現され、量化子「every」と述語形式が厳密な順序で適用される。より複雑な現象を扱うために、研究者は系列変換モデルや、表面構造を意味グラフ（抽象意味表現（AMR）など、フレームベースの意味を根付き有向グラフでコード化するもの）にマッピングする他のアルゴリズムを開発している。
曖昧性は中心的な課題である。語彙的曖昧性（例：「bank」）、スコープ曖昧性（例：「every man loves a woman」）、照応的曖昧性はすべて、曖昧性解消を必要とする。計算実務では、これはしばしば過少指定によって管理される。そこでは、文脈が解決策を提供するまで表現は部分的に未具体化のまま残されるか、または解析済みコーパス上の統計的学習によって管理され、確率が可能な解釈の選択を導く。2010年代のトランスフォーマーとマルチヘッドアテンションの統合により、手書きのルールをはるかに超える談話分析が可能となった。なぜなら、それらは遠隔の文脈情報に注意を向けることで意味を符号化するからである。
統計的・ニューラル的アプローチ
機械学習、特に深層学習の普及により、計算意味論は純粋な形式論理から分散表現と学習された表現へとシフトした。ニューラルネットワークモデルでは、単語の意味は高次元ベクトルとして表現され、文の意味は残差ネットワークや位置エンコーディングなどの操作を通じて得られる。顕著な方向性はエンコーダ・デコーダアーキテクチャを用いるもので、エンコーダが文を受け取り、デコーダが意味解析（多くの場合、木またはグラフ構造）を生成し、AMR注釈付きコーパス（例：2013年のAMRリリース、2020年のAMR 3.0コーパス）などのラベル付きデータセットで訓練される。
もう一つの主要な系統は、「自然言語推論」（NLI）と「転移学習」と呼ばれるものの周辺で生まれた。そこでは、BERT（2018年）や後のトランスフォーマーなどの大規模事前学習モデルが、意味的に類似した文が互いに近くに位置するように文をベクトル空間に埋め込む。これらは下流タスク、すなわち質問応答、機械翻訳、情報検索に使用される。このようなシステムの有効性は、文トランスフォーマーの精度や下流タスクのパフォーマンスなどの指標で測定されるが、それらは典型的には不透明であり、明示的な記号表現を欠くことが多く、真の意味論を構成するのか、それとも単なる統計的工夫に過ぎないのかについて研究者の間で議論を引き起こしている。
応用と実用システム
実世界の計算意味論は多くの技術を支えている。検索エンジンや質問応答では、意味解析器がユーザーのクエリをSQL風の論理クエリに変換する。これは2011年の初期のIBM Watsonシステムや、Google DeepMindやOpenAIの現代の製品に見られる。例えば、大規模言語モデルの質問応答コンポーネントは、内部の意味推論を用いて事実を検索・構成することがある。対話システムでは、意味論は意図を理解し、エンティティをスケジュールするために使用される。AppleのSiriやAmazon Alexaなどの仮想アシスタントは、ユーザーの発話を形式化された対話行為タグとパラメータにマッピングし、それらの表現を用いて応答を生成する。
もう一つの領域は機械翻訳であり、そこでは言語間で意味不変量を維持することが重要である。1980年代から1990年代にかけて人気があったインターリンガ型MT（例：CCLINCシステム）などのフレームワークは、抽象的な言語中立の意味表現を目指した。現代のニューラル翻訳は明示的に意味論を採用せず、エンコーダ・デコーダとマルチヘッドアテンション層によって学習されたベクトル表現に依存している。それでも、クロスアテンションや他のアテンション機構は文間の意味を整列させるために使用され、モデルはしばしば意味保持（例：BLEU、しかしますます言語推論風の指標）で評価される。
接地問題、すなわち言語的意味が世界とどのように結びつくかは、この分野のもう一つの側面である。ロボティクスや具現化AIでは、計算意味論は、WaymoやFigure AIの研究のように、テキストの指示対象を知覚入力に接続することで図解解釈にアプローチすることがある。そのような設定では、専用の意味解析と確率的推論を用いるフレームワークが実装され、「赤いマグカップを拾って」のようなコマンドがコンピュータビジョン分野の実際のオブジェクトを指すかどうかを推論する。
形式論理意味論との並行
もう一つの研究系統は、機械学習と古典的意味論を調和させようとするもので、形式論理を用いて機械出力に制約を与える。このようなハイブリッドは、生成テキストに一貫性、文法的一致、または論理的整合性を課すことを目的とする。例えば、意味制約付き生成器は、特定のテンプレート化された関係を含むように、またはルールを用いて論理的量化を課すように訓練されるかもしれない。別のアプローチは、記号知識ベースを教師として参照するもので、Joshua Tenenbaumの因果モデリングやBrendan Lakeの人間らしい概念学習に関する研究に見られる。
実際には、これらの技法は「記号接地」のギャップと説明可能性を橋渡しすることを目指している。病院記録や法的文書からの情報抽出などの安全重視の問題では、明確な意味論による検証が展開の前提条件である。「意味制約の遵守」は、したがって、生成AIの計算における主要な研究領域である。
将来の方向性と未解決問題
分野全体にわたって、いくつかの未解決問題が残っている。第一に、構成的一般化の問題がある。最先端のニューラルシステムでさえ、訓練中に観察されなかった既知の部分の組み合わせに失敗する。これは、SCANやCOGSなどのデータセットに対する評価につながり、そのような素朴な振る舞いを罰する。第二に、分布外頑健性とバイリンガル推測頑健性が依然として課題である。第三に、知識グラフと言語からデータへの量化解釈の未解決の課題があり、システムは比較的精密である。第四に、計算意味論を常識知識に結びつけることが、大規模コーパス内で訓練されるが、グローバルメモリモジュールを使用することで取り組まれている。
最終的なフロンティアは、分散的アプローチと論理的アプローチを一貫したフレームワークに統合することである。大規模言語モデル内の文脈的文表現の発展と、学界の一部（例：マサチューセッツ工科大学、スタンフォードAIラボ、トロント大学）における記号AIテーマのルネサンスにより、研究者はニューラルモデルと明示的モデルの両方を生み出す力を特定することを目指している。検索拡張生成と実際の認知的事実への接地に関する現在の研究は、ハイブリッド意味アプローチが必要かつ実現可能であることを示している。
主要な研究センターと基礎的貢献者
いくつかの学術・産業研究所が計算意味論の洞察の最前線に立ってきた。確率的意味論の頑健な使用は、ベイズ法と機械学習を組み合わせたChristopher Bishopの研究と、意味決定に直接解析できる確率的グラフィカルモデルを形式化したMichael Jordanに関連している。現代のRAKと学習理論への初期の貢献は、適応フィルタリングにおけるBernard Widrowによってなされた。自然言語処理では、OpenAIとGoogle DeepMindが主要なアーキテクチャのプロトタイプを生み出し、IBMのWatson（2011年）はフレームを質問応答にリンクする大規模な応用を実証した。
学術側では、トロント大学とStelifon von Tyche（???）が量化手法を推進してきた。西洋の大学や研究経験では、GPTシリーズ（2018年導入）やBERT（2018年）などの大規模言語モデルを覚えておく必要がある。これらは意味ベクトル表現の画期的な進歩である。分野が進化するにつれて、標準的なツールはスタンフォードのCoreNLP（2014年）などの学術グループのイニシアチブから公開されているが、研究は基本的な理論的基盤を特徴づけている。
最終的に、計算意味論の学問は静的でも決定的でもない。AIが進歩し、主力の言語モデルが論理に隣接する技法を組み込み、相互作用するプログラムが意味計算の境界に挑戦するにつれて、動的に再構築される。現在、計算意味論は精密な自動証明論的推論からLLMのパラメータの波にまで及んでいる。これらすべての取り組みは共通の目的を共有している。すなわち、自然言語を、それに基づいて行動できるシステムのための計算的意味に変換することである。