Emily M. Bender는 워싱턴 대학교의 언어학 교수로, 대규모 언어 모델이 이해하거나 알고 있다는 과장된 주장에 대한 선도적인 학계 비평가이다.
Bender의 학문적 배경은 전산 언어학에 있으며, 그녀의 연구는 오랫동안 언어 형식과 의미 사이의 관계, 그리고 유창한 언어 생성이 진정한 이해의 증거로 취급되는 것의 위험성에 초점을 맞춰 왔다. 2020년 Alexander Koller와 함께 쓴 논문 "Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data"에서 Bender는 "문어 테스트"를 도입했는데, 이는 초지능 문어가 두 사람이 케이블로 소통하는 것만 관찰하고 그들이 묘사하는 물리적 세계에는 전혀 접근하지 못한 채, 단어가 지칭하는 바를 전혀 파악하지 못하면서도 통계적으로 그럴듯한 반응을 학습하는 사고 실험이다. Bender는 이 비유를 통해 순수하게 텍스트의 통계적 패턴만으로 훈련된 시스템은 아무리 크더라도 인간 화자처럼 의미나 이해를 획득했다고 가정할 수 없다고 주장했다.
Stochastic Parrots
2021년, Bender는 Timnit Gebru, Angelina McMillan-Major, Margaret Mitchell과 함께 "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?"을 공동 집필했다. Gebru와 Mitchell이 Google에 재직 중이던 시기에 쓰인 이 논문은 대규모 언어 모델의 확장이 환경적 비용을 수반하고, 웹에서 수집된 훈련 데이터에 존재하는 사회적 편향을 부호화하고 증폭시킬 위험이 있으며, 사실적 정확성에 대한 감사가 어려운 텍스트를 생성하고, 사용자와 연구자 모두가 유창한 출력을 이해로 착각하도록 조장한다고 주장했다. 이 비판은 해당 분야에서 널리 사용되는 용어인 확률적 앵무새를 탄생시켰다. 이 논문의 발표와 Google의 반대는 Gebru의 회사 퇴사 사건에 기여했다.
공개적 논평
Bender는 언어를 의인화하는 것에 반대하는 가장 눈에 띄는 학계 목소리 중 하나로 남아 있으며, 챗봇을 설명하고 LLM이 수행하는 작업을 설명할 때 더 정확하고 정신적 개념에 의존하지 않는 어휘를 사용할 것을 촉구해 왔다. 예를 들어 모델이 이해하거나, 알거나, 문자 그대로 환각을 일으킨다고 설명하는 것에 반대하면서도, 환각과 같은 용어를 해당 분야 내에서 확립된 약칭으로 받아들이고 있다. 그녀는 사회학자 Alex Hanna와 함께 팟캐스트 "Mystery AI Hype Theater 3000"을 공동 진행하며, 두 사람은 AI 능력에 관한 미디어 보도와 업계 주장을 비판적으로 검토한다.
영향력
Bender의 언어학에 기반한 회의주의는 인공 일반 지능 일정과 대규모 모델의 창발적 이해 주장에 대한 논쟁에서 표준적인 참고점이 되었으며, Gary Marcus와 같은 연구자들의 비판과 함께 주요 AI 연구소의 더 낙관적인 서사에 대한 균형추로 자주 인용된다.