概念依存理論（CD）は、1960年代後半から1970年代前半にかけて、ロジャー・シャンクと彼の同僚たちがスタンフォード大学、その後ゼロックスPARCで開発した自然言語理解の理論である。この理論は、文の意味を、文の表層構文ではなく、正準的で言語に依存しない一連の原始動作と意味役割によって表現できると提唱する。この表現により、AIシステムは、根底にある概念的内容を捉えた形で推論を導き出し、質問に答え、テキストを言い換えることができる。
CDの核となる考え方は、すべての出来事と状態を、PTRANS（物理的移動）、MTRANS（精神的移動）、ATRANS（抽象的移動）などの少数の原始動作に還元できるというものである。各動作には、動作主、対象、受領者、道具などの一連の意味役割が関連付けられている。例えば、「ジョンがメアリーに本を渡した」という文は、ジョンを動作主、メアリーを受領者、本を対象とするATRANS動作として表現される。この表現は普遍的であるように設計されており、入力の言語や構文形式に関係なく、同じ概念構造が生成される。
CDの主な動機の一つは、自然言語理解における推論の問題に対処することであった。意味を概念レベルで表現することで、システムは推論規則を適用して暗黙の情報を導き出すことができた。例えば、「ジョンがメアリーに本を渡した」から、CDベースのシステムは、ATRANS動作が所有権の変更を意味するため、メアリーが現在本を所有していると推論できた。この能力は、SAM（スクリプト適用メカニズム）やPAM（計画適用メカニズム）などの初期のAIプログラムで実証され、これらはCDを使用して物語を理解し、それに関する質問に答えた。
歴史的発展
ロジャー・シャンクは、1969年の論文「A Conceptual Dependency Representation for a Computer-Oriented Semantics」で概念依存理論を導入し、1970年代を通じて洗練させた。この理論は、人工知能研究の文脈でスタンフォード大学、その後シャンクがイェール人工知能プロジェクトを設立したイェール大学で発展した。主な協力者には、関連する概念であるスクリプトを貢献したロバート・アベルソンや、構文解析と生成に取り組んだクリストファー・リースベックがいた。
1970年代、CDはいくつかの影響力のある自然言語理解システムで使用された。シャンクと彼の学生たちが開発したMARGIEシステムは、文を言い換え、簡単な推論を行うことができた。SAMシステムは、レストランに行くなどの一般的な状況に関する物語を理解するためにスクリプトを適用し、それに関する質問に答えることができた。PAMシステムは、意図的な行動を含む物語を理解するために計画と目標を使用した。これらのシステムは、テキストについての知識を表現し推論するためのCDの力を実証した。
核心的構成要素
CD表現は、それぞれが定義された意味役割のセットを持つ一連の原始動作から構成される。最も一般的に引用される原始動作には以下が含まれる：
- PTRANS：物体の物理的移動（ある場所から別の場所へ）
- MTRANS：精神的コンテンツ（例：情報）の心と心の間、または心内での移動
- ATRANS：抽象的所持（例：所有権、支配権）の移動
- INGEST：生物による物体の取り込み（例：食べる、飲む）
- PROPEL：物理的力の適用
- GRASP：物体の行為者への物理的付着
- EXPEL：生物からの物体の強制的排出
- SPEAK：音または音声の生成
各動作には、動作主、対象、受領者、方向、道具などの一連の意味役割が関連付けられている。表現には状態も含まれ、これらはHEALTH、MENTAL-STATE、PHYSICAL-STATEなどの状態原始動作と、正または負などの値を使用して記述される。
応用と影響
概念依存理論は、自然言語処理と知識表現の分野に大きな影響を与えた。これは、表層構文から独立した意味表現を作成する最初の試みの一つであり、この目標は現代のAIの中心的な課題であり続けている。原始動作と意味役割を使用するという考え方は、動詞の意味の構造化された記述を提供するFrameNetやVerbNetなどの後のフレームワークに反映されている。
1980年代から1990年代にかけて、CDは商用の自然言語インターフェースや物語理解の研究で使用された。しかし、1990年代から2000年代にかけて統計的アプローチと機械学習アプローチが台頭するにつれて、CDの手作業による性質は支持を失った。2010年代の深層学習とニューラルネットワークの台頭により、明示的な記号的表現からの移行が進んだが、一部の研究者はハイブリッドアプローチを探求し続けた。
現代のアプローチとの比較
OpenAIやGoogle DeepMindによって開発された現代の大規模言語モデル（LLM）は、トランスフォーマーアーキテクチャを使用して、膨大なテキストから意味表現を学習する。CDとは異なり、これらのモデルは手書きの原始動作や明示的な推論規則に依存しない。代わりに、意味的類似性と関係を捉える分散表現を学習する。LLMは質問応答や言い換え生成などのタスクを実行できるが、その内部表現は不透明であり、容易に解釈できない。
対照的に、概念依存理論は、明示的な推論をサポートする透明で構成可能な表現を提供する。しかし、原始動作と規則を定義するにはかなりの手作業が必要であり、自然言語のニュアンスと多様性を捉えるのに苦労する。一部の研究者は、ニューロシンボリックAIに見られるように、記号的アプローチとニューラルアプローチの組み合わせが、両方のパラダイムの強みを活用できると主張している。
遺産と批判
概念依存理論は、その限られた適用範囲と、現実世界の言語へのスケーリングの難しさで批判されてきた。原始動作のセットは完全に合意されることはなく、表現は維持が難しい複雑な構造を必要とすることが多かった。批評家はまた、CDは単純な物語に適しており、より広範な応用に必要な堅牢性を欠いていると指摘した。
これらの批判にもかかわらず、CDはAIへの重要な歴史的貢献であり続けている。これは、物語理解におけるスクリプト、計画、目標の発展に影響を与え、自然言語処理における意味表現の重要性を強調した。推論と言い換え生成への重点は、現代のAIシステムが達成しようとしている多くの能力を予期していた。2020年代現在、CDは主に歴史的関心の対象であるが、その考え方は知識表現と推論の研究に情報を与え続けている。