En apprentissage automatique, le terme « perroquet stochastique » est une métaphore utilisée pour décrire les grands modèles de langage (LLM) comme des systèmes qui imitent statistiquement le texte sans compréhension réelle. Le mot « stochastique » dérive du grec ancien « στοχαστικός » (stokhastikos, signifiant « fondé sur la conjecture ») et, en théorie des probabilités, signifie « déterminé de manière aléatoire », tandis que « perroquet » fait référence à la capacité des oiseaux à imiter la parole humaine. L'expression a été introduite dans l'article de 2021 « On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜 » par Timnit Gebru, Emily M. Bender, Angelina McMillan-Major et Margaret Mitchell, qui a exposé les risques potentiels des grands modèles de langage. L'article est devenu célèbre non seulement pour son argumentation, mais aussi pour son rôle dans un conflit professionnel de décembre 2020 entre Gebru et Google, conduisant à son départ controversé et à un débat généralisé dans la communauté de l'IA. Le terme a ensuite gagné en popularité dans la recherche académique sur IA générative et a également été interprété négativement comme une insulte envers les systèmes d'IA.
Contexte et conflit de 2020
Timnit Gebru est une chercheuse en éthique de l'IA qui a rejoint Google en 2018, où elle a codirigé l'équipe d'intelligence artificielle éthique avec Margaret Mitchell, une informaticienne spécialisée dans les biais algorithmiques. Emily M. Bender est une linguiste connue pour ses travaux en linguistique computationnelle. L'article, coécrit par Gebru et cinq autres chercheurs (dont quatre employés de Google), a été soumis à la conférence ACM 2021 sur l'équité, la responsabilité et la transparence. Il soutenait que les LLM présentent des risques importants, notamment des coûts environnementaux et financiers, une inscrutabilité conduisant à des biais dangereux inconnus, et un potentiel de tromperie, car ces modèles ne comprennent pas les concepts sous-jacents à ce qu'ils apprennent.
L'article décrivait les LLM comme « assemblant des séquences de formes linguistiques... observées dans leurs vastes données d'entraînement, selon des informations probabilistes sur la façon dont elles se combinent, mais sans aucune référence à la signification », ce qui leur a valu le label de « perroquets stochastiques ». Après la soumission, Google a demandé à Gebru de retirer l'article ou d'en retirer les noms des employés de Google. Gebru a refusé sans discussion supplémentaire, envoyant un courriel à la vice-présidente de Google Research, Megan Kacholia, indiquant qu'elle prévoyait de démissionner après une période de transition si l'entreprise ne pouvait pas expliquer la demande de retrait et répondre à d'autres préoccupations concernant des projets similaires. Le lendemain, le 2 décembre 2020, Google a envoyé un courriel indiquant qu'il « acceptait sa démission ». Ce licenciement brutal a suscité des protestations de la part des employés de Google et a généré une publicité négative pour l'entreprise.
Usage et adoption publique
L'expression « perroquet stochastique » a été adoptée par les sceptiques de l'IA et les chercheurs pour signifier que les LLM manquent de compréhension du sens de leurs sorties. Sam Altman, PDG d'OpenAI, a utilisé le terme peu après la sortie de ChatGPT en décembre 2022, tweetant « je suis un perroquet stochastique, et toi aussi ». Le terme a été nommé mot de l'année 2023 lié à l'IA par l'American Dialect Society.
Débat sur la compréhension contre l'imitation
Alors que les LLM comme ChatGPT commençaient à interagir avec les utilisateurs dans des conversations convaincantes de type humain, la question de savoir si ces systèmes comprennent réellement ou se contentent de « perroqueter » le langage s'est approfondie. Les chercheurs en apprentissage automatique Lindholm, Wahlström, Lindsten et Schön ont souligné deux limitations vitales : les LLM sont limités par les données sur lesquelles ils sont formés et répètent simplement de manière stochastique ce contenu ; et parce qu'ils génèrent des sorties basées sur des modèles, ils ne savent pas s'ils disent quelque chose d'incorrect ou d'inapproprié. Ils ont noté que de telles limitations pourraient conduire à des résultats « dangereusement erronés » avec des ensembles de données de faible qualité.
Expérience subjective
Les partisans soutiennent que dans les esprits humains, les mots correspondent à des expériences réelles, mais pour les LLM, les mots correspondent uniquement à d'autres mots et à des modèles dans les données d'entraînement. Ainsi, ils affirment que les déclarations sur la signification des LLM proviennent de « la tendance humaine à attribuer un sens au texte », bien que les LLM ne comprennent pas réellement le langage.
Ajustement fin et contre-arguments
Kelsey Piper a soutenu que la métaphore du perroquet stochastique se concentre sur le pré-entraînement et ignore les processus modernes d'ajustement fin qui entraînent les LLM à suivre des instructions et à préférer des réponses précises. D'autres chercheurs pointent des référentiels comme preuve : GPT-4 a obtenu un score supérieur au 90e centile à l'examen du barreau uniforme et a atteint une précision de 93 % sur le benchmark MATH des problèmes d'olympiades de lycée, des exploits qui dépassent les attentes d'un simple mimétisme. Une enquête de 2022 a révélé que 51 % des professionnels de l'IA pensent que les LLM peuvent véritablement comprendre le langage avec suffisamment de données, une opinion que de nombreux experts contestent.
Hallucinations et limitations
Les partisans de l'idée du perroquet stochastique citent les hallucinations - ou confabulations - où les LLM présentent des informations fausses comme preuve que ces systèmes ne relient pas les mots à une compréhension du MONDE. Ils mentionnent également des échecs dans une grammaire complexe ou ambiguë. Par exemple, étant donné la paire de phrases : « Le journal mouillé qui est tombé de la table est mon journal préféré. Mais maintenant que mon journal préféré a licencié le rédacteur en chef, je n'aimerai peut-être plus le lire. Puis-je remplacer « mon journal préféré » par « le journal mouillé qui est tombé de la table » dans la deuxième phrase ? » GPT-4 a répondu oui, ignorant que « journal » fait référence à un objet dans le premier contexte et à une institution dans le second.
Recherche en cours et ateliers
En 2024, une enquête du magazine Scientific American a décrit un atelier fermé où des modèles de pointe ont résolu des problèmes de mathématiques de niveau 4 inédits, suggérant que certains LLM peuvent traiter des tâches absentes de leurs données d'entraînement. Cependant, ces observations restent sujettes à interprétation et n'ont pas pleinement résolu le débat sur la question de savoir si les LLM possèdent une compréhension réelle ou un simple appariement de modèles.