自然言語理解（NLU）は、自然言語解釈（NLI）とも呼ばれ、人工知能と自然言語処理のサブセットであり、機械による文章読解に焦点を当てている。音声または文字による人間の言語入力から意味を引き出すことをコンピュータに可能にすることが含まれる。NLUは、広範な世界知識と、曖昧さ、文脈、表現の多様性を処理する能力を必要とするため、AI完全問題（AI-hard problem）と説明されてきた。この分野は、自動推論、機械翻訳、質問応答、ニュース収集、テキスト分類、音声起動、アーカイブ、大規模コンテンツ分析における応用により、商業的な関心がかなり高い。
NLUシステムは、その範囲と深さにおいて大きく異なる。広さ（breadth）とは、システムが処理できる語彙と文法のサイズを指し、深さ（depth）とは、その理解が流暢なネイティブスピーカーの理解にどれだけ近いかを指す。単純なコマンドインタプリタは狭く浅いが、新聞記事全体を解析するシステムは広く深い。実際のアプリケーションのほとんどはこれらの極端な中間に位置し、例えば、トピックごとにメッセージを分類する電子メールルーティングシステムは、深い意味理解を必要としない。
歴史的発展
NLUへの初期の試みは1960年代に遡る。1964年、ダニエル・ボブロウはMITでの博士論文のためにSTUDENTプログラムを書き、単純な自然言語入力の理解によって代数文章題を解いた。1年後、ジョセフ・ワイゼンバウムはMITでELIZAを開発した。これは、キーワードを定型句にパターンマッチングすることで会話をシミュレートする対話型プログラムである。ELIZAは真の理解を欠いていたが、機械対話への一般の関心を示した。
1969年、スタンフォード大学のロジャー・シャンクは概念依存理論を導入し、これは原始的な動作を通じて意味を表現し、後のイェール大学での研究に影響を与えた。1970年、ウィリアム・A・ウッズは拡張遷移ネットワーク（ATN）を開発した。これは、再帰的有限状態オートマトンを用いて自然言語を解析する形式主義である。1971年、テリー・ウィノグラードはMITでSHRDLUを完成させ、これは英語のコマンドを通じて仮想のブロック世界を理解し操作することができ、状況に埋め込まれた理解を示す画期的な成果となった。
1970年代から1980年代にかけて、SRIインターナショナルなどの研究グループがNLU技術を進歩させ、シマンテック（1982年にゲイリー・ヘンドリックスが創業）やコグニティブ・システムズ社（ロジャー・シャンクが共同創業）などの商業的取り組みも登場した。1983年、マイケル・ダイアーはイェール大学でBORISシステムを構築し、物語理解を扱った。しかし、これらのシステムは狭い領域に限定されており、一般的な理解を欠いていた。
機械学習の時代
第3千年紀は、NLUに機械学習のアプローチをもたらした。2011年にクイズ番組「ジェパディ!」で優勝したIBMワトソンは、質問応答に統計的手法を用いたが、哲学者のジョン・サールなどの批評家は、ワトソンが質問を真に理解していないと主張した。2010年代には、word2vecなどの単語埋め込みが単語を密なベクトルとして表現し、構文的および意味的関係を捉えた。その後、BERTなどのトランスフォーマーベースのモデルが大規模な事前学習とそれに続くファインチューニングを導入し、質問応答や自然言語推論などのタスクの性能を大幅に向上させた。
これらの進歩は、深層学習とニューラルネットワークによって推進され、GPT-3やその後継モデルなどの大規模言語モデルの開発につながり、流暢なテキストを生成し、多くのNLUタスクを高い精度で実行する。しかし、これらのモデルが真の理解を示しているのか、それとも単なる統計的パターンマッチングに過ぎないのかについては、専門家の間で議論がある。パトム理論の発明者である認知科学者のジョン・ボールは、人間の言語には何かを要求する方法が数千通りあるため、従来のNLPは依然として失敗していると主張する。ウィベ・ワーゲマンスは、機械との有意義な会話には、3歳児が推測なしで行うように、各単語を文脈に基づいて正しい意味に一致させることが必要であると指摘した。
中核タスクと技術
NLUは、固有表現認識、品詞タグ付け、構文解析、意味役割付与、共参照解決など、いくつかの中核タスクを含む。これらのタスクは、対話システムにおける意図検出、感情分析、自然言語推論などの高次アプリケーションに供給される。従来のアプローチはルールベースの文法と手作りの特徴量を用いていたが、現代のシステムは主に機械学習、特にトランスフォーマーアーキテクチャに依存している。
word2vecなどの単語埋め込みやBERTなどのモデルからの文脈埋め込みにより、システムは使用法に基づいて意味を捉える方法で単語を表現できる。大規模コーパスでの事前学習と、特定タスクでのファインチューニングが標準的なパラダイムとなっている。このアプローチにより、システムがパッセージから回答を抽出できる質問応答や、前提から仮説が導かれるかどうかを判断する自然言語推論において、画期的な進歩が可能になった。
応用と商業的関心
NLUには多くの実用的応用がある。AppleのSiri、AmazonのAlexa、Googleアシスタントなどの音声アシスタントは、ユーザーのコマンドを解釈するためにNLUに依存している。カスタマーサービスチャットボットは、問い合わせをルーティングし応答を提供するためにNLUを使用する。テキスト分類システムは、電子メール、ニュース記事、法的文書を自動的に分類する。Google翻訳などの機械翻訳システムは、NLUを使用してソーステキストを理解し翻訳を生成する。医療分野では、NLUは臨床ノートから情報を抽出するのに役立つ。金融分野では、収益報告書やニュースを分析して取引シグナルを得る。
商業的関心は強い。なぜなら、NLUは以前は人間の読解と理解を必要としたタスクを自動化できるからである。OpenAI、Anthropic、Google DeepMindなどの企業は、高度なNLUモデルの開発に多額の投資を行っている。Amazon Web Services、Microsoft Azure、Google Cloudなどのクラウドプロバイダーは、NLUサービスをAPIとして提供している。しかし、現在のシステムの限界、特に堅牢な常識推論の欠如は、完全な理解への障壁となっている。
課題と将来の方向性
NLUは、曖昧さ、文脈依存性、世界知識の必要性など、永続的な課題に直面している。文を理解するには、明示的に述べられていない物理的・社会的世界についての知識が必要となることが多い。例えば、「そのトロフィーは茶色いスーツケースに収まらない。小さすぎるからだ」という文は、どちらが小さいのかを知る必要がある。現在のモデルは、このような語用論的推論にしばしば苦労する。
将来の方向性としては、NLUと外部知識ベースの統合、少数ショット学習とゼロショット学習の改善、推論と決定の説明ができるモデルの開発が含まれる。研究者はまた、言語を視覚や他のモダリティと組み合わせるマルチモーダル理解も探求している。2020年代初頭の時点で、人間レベルのNLUを達成したシステムはなく、これは人工知能における未解決問題のままである。