エミリー・M・ベンダーは、ワシントン大学の言語学教授であり、大規模言語モデルが何を理解しているか、あるいは知っているかについての過剰な主張に対する主要な学術的批判者である。
ベンダーの学術的背景は計算言語学にあり、その研究は長年にわたり、言語形式と意味の関係、および流暢な言語生成を真の理解の証拠として扱うことのリスクに焦点を当ててきた。2020年にアレクサンダー・コラーと共著した論文「Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data」において、ベンダーは「タコのテスト」を導入した。これは、超知能のタコが、自分たちが記述する物理的世界に一切アクセスせず、ケーブルで通信する二人の人間を観察したことしかないという思考実験であり、タコは言葉が何を指すかを把握することなく、統計的に妥当な応答を生成することを学ぶ。ベンダーはこの類推を用いて、テキストの統計的パターンにのみ基づいて訓練されたシステムは、たとえどれほど大規模であっても、人間の話者のように意味や理解を獲得したと想定できないと論じた。
確率的オウム
2021年、ベンダーはTimnit Gebru、アンジェリーナ・マクミラン＝メジャー、マーガレット・ミッチェルと共に「On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?」を共著した。この論文は、ゲブルとミッチェルがグーグルに在籍中に執筆され、大規模言語モデルのスケーリングが環境コストを伴い、ウェブスクレイピングされたTraining dataに存在する社会的バイアスを符号化・増幅するリスクがあり、事実の正確性を監査することが難しいテキストを生成し、ユーザーや研究者までもが流暢な出力を理解と誤認することを促すと論じ、この分野に広く使われる用語Stochastic parrotを与えた。この論文の発表と、それに対するグーグルの反対は、ゲブルの同社からの注目を集めた退社に寄与した。
公的コメント
ベンダーは、言語の擬人化に反対する最も目立つ学術的声の一人であり続け、チャットボットを説明し、LLMが何をするかを説明する際に、より正確で心的用語を用いない語彙を推奨している。例えば、モデルが理解する、知る、または文字通りの意味で幻覚を見ると説明することに反対しつつも、Hallucination (AI)のような用語をこの分野内の確立された略語として受け入れている。彼女は社会学者アレックス・ハンナと共にポッドキャスト「Mystery AI Hype Theater 3000」を共同司会しており、その中で二人はAI能力に関するメディア報道や業界の主張を批判的に検証している。
影響
ベンダーの言語学に基づく懐疑主義は、Artificial general intelligenceのタイムラインや大規模モデルにおける創発的理解の主張をめぐる議論において標準的な参照点となっており、Gary Marcusなどの研究者による批判と並んで、主要なAI研究所からのより楽観的な物語に対する対抗力として頻繁に引用されている。