確率的オウム（stochastic parrot）とは、言語モデルが、訓練データのパターンを統計的に再結合することで、もっともらしいテキストを流暢に再現する一方で、生成する言葉の背後にある意味を根拠づけて理解していないことを指す用語である。この語句は、2021年の論文「確率的オウムの危険性：言語モデルは大きすぎる可能性があるか？」（On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?）のタイトルに由来し、この論文はEmily Bender、Timnit Gebru、Angelina McMillan-Major、Margaret Mitchellによって執筆された。この論文は、その後まもなくGPT-3クラスのシステムや、その後のChatGPTを生み出すことになる大規模言語モデルの研究方向に対する、最も引用され、かつ最も論争を呼んだ批判の一つとなった。
この論文は、ウェブから収集したテキストで訓練された、ますます大規模化する言語モデルが深刻なリスクを伴うと主張した。すなわち、環境的・金銭的コスト、フィルタリングされていない訓練コーパスからコード化され増幅されるバイアス、そして研究者と一般市民の双方が、流暢な出力を真の理解と誤認する傾向である。
起源と論争
この論文の発表は、Gebruが2020年12月にGoogleを去ったことと絡み合っていた。彼女は、論文の撤回またはGoogle関連の共著者名の削除を会社が要求したことによる解雇だったと述べたが、Googleは辞任と説明した。この出来事は、大手研究所におけるAI倫理研究と製品チームの間の内部緊張に広く注目を集め、AI倫理において最も広く議論された出来事の一つとなった。BenderとGebruのより広範な主張は、自然言語処理研究における訓練データの質と、ウェブ規模のコーパスを監査することの難しさに関する初期の懸念を拡張したものであった。
中心的な主張
言語モデルは、先行する文脈が与えられたときに統計的に可能性の高い次のトークンを予測するように訓練される。著者らは、この目的が、言葉を現実世界の意味や意図に根拠づけることなく説得力のある形式を生み出すと主張した。これは、AIにおけるGrounding (AI)というより広範な問題に密接に関連する懸念である。この論文は、この根拠のない流暢さが、幻覚やバイアスのかかった内容を特に危険なものにすると警告した。なぜなら、人間の読者は、流暢なテキストに理解と信頼性を本能的に帰属させるからである。
受容とその後の議論
この用語は、深刻な研究批判としても、LLM熱狂に対する修辞的な侮辱としても、一般的な用法に入った。スケーリングの支持者は、その後の創発的能力や、モデルが推論、ツール使用、多段階計画において明らかに示す能力に関する研究が、純粋に「確率的」という特徴づけを複雑にすると反論したが、批判者たちは、流暢な出力は検証された理解とは区別可能なままであると主張する。この議論は未解決のままであり、大規模言語モデルが実際に何を知っているのか、それとも単に再現しているのかについての議論を形成し続けており、AIスロップのような、大量生産される機械テキストの低品質な側面を表す後の用語にも波及している。