Emily M. Bender ist Professorin für Linguistik an der University of Washington und eine führende akademische Kritikerin übertriebener Behauptungen darüber, was große Sprachmodelle verstehen oder wissen.
Benders akademischer Hintergrund liegt in der Computerlinguistik, und ihre Forschung konzentriert sich seit langem auf die Beziehung zwischen sprachlicher Form und Bedeutung sowie auf die Risiken, fließende Sprachproduktion als Beleg für echtes Verständnis zu behandeln. In einem Artikel von 2020 mit Alexander Koller, „Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data", führte Bender den „Oktopus-Test" ein, ein Gedankenexperiment, bei dem ein hyperintelligenter Oktopus, der nur zwei Menschen beobachtet hat, die per Kabel kommunizieren, ohne jeglichen Zugang zu der physischen Welt, die sie beschreiben, lernt, statistisch plausible Antworten zu geben, ohne jemals zu erfassen, worauf sich die Wörter beziehen. Bender nutzte die Analogie, um zu argumentieren, dass Systeme, die ausschließlich auf statistischen Mustern von Text trainiert werden, egal wie groß sie sind, nicht annehmen können, dass sie Bedeutung oder Verständnis in der Art eines menschlichen Sprechers erworben haben.
Stochastic Parrots
Im Jahr 2021 verfasste Bender gemeinsam mit Timnit Gebru, Angelina McMillan-Major und Margaret Mitchell den Artikel „On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?". Der Artikel, der geschrieben wurde, während Gebru und Mitchell bei Google waren, argumentierte, dass die Skalierung von großen Sprachmodellen Umweltkosten mit sich bringt, das Risiko birgt, soziale Vorurteile aus Web-Scraping-Trainingsdaten zu kodieren und zu verstärken, Texte produziert, die schwer auf faktische Genauigkeit zu prüfen sind, und Nutzer sowie sogar Forscher dazu verleitet, fließende Ausgaben mit Verständnis zu verwechseln – eine Kritik, die dem Feld den weit verbreiteten Begriff Stochastic parrot gab. Die Veröffentlichung des Artikels und Googles Einwände dagegen trugen zu Gebrus öffentlichkeitswirksamem Ausscheiden aus dem Unternehmen bei.
Öffentliche Kommentare
Bender bleibt eine der sichtbarsten akademischen Stimmen, die sich gegen die Vermenschlichung von Sprache wehrt, beschreibt Chatbots und drängt auf präzisere, nicht-mentalistische Vokabeln, wenn beschrieben wird, was LLMs tun, und wendet sich etwa dagegen, Modelle im wörtlichen Sinne als verstehend, wissend oder halluzinierend zu beschreiben, selbst wenn sie Begriffe wie Hallucination (AI) als etablierte Kurzform innerhalb des Feldes akzeptiert. Sie moderiert gemeinsam mit der Soziologin Alex Hanna den Podcast „Mystery AI Hype Theater 3000", in dem die beiden Medienberichterstattung und Branchenbehauptungen über KI-Fähigkeiten kritisch untersuchen.
Einfluss
Benders linguistisch fundierte Skepsis ist zu einem Standardreferenzpunkt in Debatten über Artificial general intelligence-Zeitpläne und Behauptungen über emergentes Verständnis in großen Modellen geworden, häufig zusammen mit Kritiken von Forschern wie Gary Marcus als Gegengewicht zu optimistischeren Narrativen großer KI-Labore angeführt.