自然言語処理（NLP）は、人工知能の下位分野であり、コンピュータが人間の言語（話し言葉または書き言葉）を処理、解釈、生成することを可能にすることに焦点を当てている。その範囲は、スペルチェックや品詞タグ付けといった狭いタスクから、翻訳、要約、会話といった自由形式のタスクまで多岐にわたり、2020年代半ばのAI議論を支配する大規模言語モデル技術の親分野でもある。
初期の時代：規則と記号
1950年代から1980年代にかけての初期のNLPシステムは、手作業で作られた言語学的規則と記号論理に基づいて構築されており、これは記号AIのアプローチと一致する。1966年にジョセフ・ワイゼンバウムが作成したチャットボットELIZAは、単純なパターンマッチングを用いてロジャーズ派の心理療法士を模倣し、この分野の野心を示す初期の、しかし限定的なデモンストレーションとなった。この期間には、規則ベースの機械翻訳システムも開発され、成功はまちまちだった。
統計的時代
1980年代後半から2000年代にかけて、NLPは統計的手法へと移行し、手書きの規則ではなくテキストコーパスから学習した確率を用いて、翻訳、タグ付け、構文解析などのタスクを処理した。この時期には、n-gram言語モデルや統計的機械翻訳などの技術が生み出され、大規模な注釈付きコーパスが中心的な研究インフラとして確立され、現代のトレーニングデータ規模への重点の先駆けとなった。
ニューラルおよびトランスフォーマー時代
2010年代初頭には、ニューラルアプローチが統計的パイプラインに取って代わり始めた。これは、単語を意味的関係を捉える密なベクトルとして表現するWord2vec（2013年）などの単語レベルの埋め込みと、翻訳などの系列変換タスクのためのリカレントニューラルネットワークおよびLSTMアーキテクチャによって支えられた。2017年に導入されたトランスフォーマーアーキテクチャは、この分野に変革をもたらし、大規模なテキストコーパスでのトレーニングをはるかに効率的にした。BERT（2018年）は、言語理解のための大規模な事前トレーニングの力を示し、GPTシリーズは、十分な規模で次のトークン予測にトレーニングされた単一の自己回帰モデルが、タスク固有のアーキテクチャなしで膨大な範囲のNLPタスクを実行できることを実証し、汎用の大規模言語モデルへと結実した。
現代の範囲
現代のNLP研究と応用は、機械翻訳、音声認識、意味検索、感情分析、要約、質問応答、およびチャットボットや音声アシスタントの基盤となる対話システムに及ぶ。大規模言語モデルの台頭以来、以前は別個だった多くのNLPサブタスクは、現在では特殊なアーキテクチャをトレーニングするのではなく、単一の汎用モデルにプロンプトを与えることで一般的に対処されており、この変化は狭い教師ありシステムの必要性を減らしたが、幻覚を含む新たな評価と信頼性の問題を提起した。
課題
NLPシステムは、大規模なトレーニングコーパスを欠く低リソース言語、文化的に特有の慣用句や文脈、および一貫した事実の信頼性に依然として苦労している。トレーニングテキストに存在するバイアスは、モデルの出力に再現または増幅される可能性があり、これは確率的オウム批判で顕著に提起された懸念であり、アルゴリズムバイアスの緩和に向けたより広範な取り組みとともに、現在も活発な研究分野となっている。