Emily M. Bender est professeure de linguistique à l'Université de Washington et une critique académique de premier plan des affirmations exagérées sur ce que les grands modèles de langage comprennent ou savent.
Le parcours académique de Bender est en linguistique computationnelle, et ses recherches se sont longtemps concentrées sur la relation entre la forme linguistique et le sens, ainsi que sur les risques de traiter la production de langage fluide comme une preuve de compréhension réelle. Dans un article de 2020 avec Alexander Koller, « Climbing towards NLU: On Meaning, Form, and Understanding in the Age of Data », Bender a introduit le « test de la pieuvre », une expérience de pensée dans laquelle une pieuvre hyper-intelligente, ayant seulement observé deux personnes communiquer par câble sans aucun accès au monde physique qu'elles décrivent, apprend à produire des réponses statistiquement plausibles sans jamais saisir à quoi les mots se réfèrent. Bender a utilisé l'analogie pour soutenir que les systèmes entraînés uniquement sur les schémas statistiques du texte, quelle que soit leur taille, ne peuvent pas être supposés avoir acquis un sens ou une compréhension de la manière dont un locuteur humain le fait.
Perroquets stochastiques
En 2021, Bender a co-écrit « On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? » avec Timnit Gebru, Angelina McMillan-Major et Margaret Mitchell. L'article, rédigé pendant que Gebru et Mitchell étaient chez Google, soutenait que la mise à l'échelle des grands modèles de langage entraînait des coûts environnementaux, risquait d'encoder et d'amplifier les biais sociaux présents dans les données d'entraînement extraites du web, produisait du texte difficile à auditer pour l'exactitude factuelle, et encourageait les utilisateurs et même les chercheurs à confondre la production fluide avec la compréhension, une critique qui a donné au domaine le terme largement utilisé de perroquet stochastique. La publication de l'article, et les objections de Google à celui-ci, ont contribué au départ très médiatisé de Gebru de l'entreprise
Commentaire public
Bender est restée l'une des voix académiques les plus visibles s'opposant à l'anthropomorphisation du langage, décrivant les chatbots et poussant à un vocabulaire plus précis, non mentaliste lorsqu'il s'agit de décrire ce que les LLM font, s'opposant par exemple à décrire les modèles comme comprenant, sachant, ou hallucinant au sens littéral, même en acceptant des termes comme Hallucination (AI) comme raccourci établi dans le domaine. Elle co-anime le podcast « Mystery AI Hype Theater 3000 » avec la sociologue Alex Hanna, dans lequel les deux examinent de manière critique la couverture médiatique et les affirmations de l'industrie sur les capacités de l'IA
Influence
Le scepticisme ancré dans la linguistique de Bender est devenu un point de référence standard dans les débats sur les échéanciers de l'intelligence artificielle générale et les affirmations de compréhension émergente dans les grands modèles, fréquemment invoqué aux côtés des critiques de chercheurs tels que Gary Marcus comme contrepoids aux récits plus optimistes des grands laboratoires d'IA.