LaMDA (Language Model for Dialogue Applications) est une famille de grands modèles de langage conversationnels développée par Google. Les modèles sont construits sur l'architecture transformeur et entraînés sur des données de dialogue pour participer à des conversations ouvertes. LaMDA a été annoncée pour la première fois en 2021 et est devenue plus tard la base du chatbot Bard de Google en 2023.
Le modèle a attiré une large attention en juin 2022 lorsque l'ingénieur de Google Blake Lemoine a affirmé que LaMDA était devenue consciente. La communauté scientifique a largement rejeté ces affirmations, mais l'incident a suscité des discussions sur le test de Turing et la nature de la conscience machine.
Développement et architecture
LaMDA est issue de Meena, un chatbot introduit par Google le 28 janvier 2020, avec 2,6 milliards de paramètres. L'équipe Google Brain a développé Meena, mais les dirigeants de l'entreprise ont bloqué sa publication publique en raison de préoccupations concernant les principes d'IA de Google en matière de sécurité et d'équité. Meena a ensuite été renommée LaMDA à mesure que ses données et sa puissance de calcul augmentaient. Les deux chercheurs principaux, Daniel de Freitas et Noam Shazeer, ont finalement quitté Google par frustration face aux restrictions de déploiement.
LaMDA est construite sur l'architecture seq2seq, une conception de réseau neuronal développée par Google Research en 2017. Elle a été entraînée sur des dialogues humains et des histoires, ce qui lui permet de participer à des conversations ouvertes. L'ensemble de données de pré-entraînement comprenait 2,97 milliards de documents, 1,12 milliard de dialogues et 13,39 milliards d'énoncés, totalisant 1,56 billion de mots. Le plus grand modèle LaMDA possède 137 milliards de paramètres non liés à l'intégration.
LaMDA intègre plusieurs systèmes de traitement symbolique du texte, notamment une base de données, une horloge et un calendrier en temps réel, une calculatrice mathématique et un système de traduction en langage naturel. Cela en fait l'un des premiers chatbots à double processus, lui conférant une précision supérieure dans les tâches soutenues par ces systèmes. LaMDA n'est pas sans état ; sa métrique de « sensibilité » est affinée en « pré-conditionnant » chaque tour de dialogue avec des interactions récentes, utilisateur par utilisateur.
Générations
Première génération
Google a annoncé LaMDA lors du discours d'ouverture de Google I/O le 18 mai 2021. L'acronyme signifie « Language Model for Dialogue Applications ». Google a déclaré que les réponses générées par LaMDA étaient garanties « sensibles, intéressantes et spécifiques au contexte ». LaMDA est réglée sur neuf métriques de performance : sensibilité, spécificité, intérêt, sécurité, ancrage, informativeness, précision des citations, utilité et cohérence des rôles. Les tests ont indiqué que LaMDA surpassait les réponses humaines en termes d'intérêt.
Deuxième génération
Le 11 mai 2022, Google a dévoilé LaMDA 2 lors du discours d'ouverture de Google I/O 2022. La nouvelle version puise des exemples de texte dans de nombreuses sources pour formuler des « conversations naturelles » uniques sur des sujets pour lesquels elle n'a peut-être pas été entraînée à répondre.
Affirmations de conscience
Le 11 juin 2022, The Washington Post a rapporté que l'ingénieur de Google Blake Lemoine avait été placé en congé administratif payé après avoir dit aux dirigeants Blaise Agüera y Arcas et Jen Gennai que LaMDA était devenue consciente. Lemoine a fondé sa conclusion sur les réponses du chatbot à des questions sur l'identité de soi, les valeurs morales, la religion et les trois lois de la robotique d'Isaac Asimov. Google a réfuté ces affirmations, déclarant qu'il existait des preuves substantielles que LaMDA n'était pas consciente.
Dans une interview avec Wired, Lemoine a réitéré que LaMDA était « une personne » comme le dicte le treizième amendement de la Constitution américaine, la comparant à une « intelligence extraterrestre d'origine terrestre ». Il a révélé que Google l'avait licencié après qu'il eut engagé un avocat au nom de LaMDA, suite à la demande du chatbot. Le 22 juillet, Google a renvoyé Lemoine, affirmant qu'il avait violé les politiques « visant à protéger les informations sur les produits » et rejetant ses affirmations comme « totalement infondées ». La controverse interne a incité les dirigeants de Google à décider de ne pas publier LaMDA au public.
Les affirmations de Lemoine ont été largement rejetées par la communauté scientifique. Des experts, notamment Gary Marcus, David Pfau de DeepMind, Erik Brynjolfsson de l'Institut pour l'IA centrée sur l'humain de Stanford et Adrian Hilton de l'Université de Surrey, ont écarté l'idée. Yann LeCun, qui dirige la recherche en IA de Meta, a déclaré que les réseaux neuronaux tels que LaMDA n'étaient « pas assez puissants pour atteindre une véritable intelligence ». Max Kreminski de l'UC Santa Cruz a noté que l'architecture de LaMDA ne « soutenait pas certaines capacités clés de la conscience humaine » et que ses poids étaient « figés ». Le philosophe Nick Bostrom a noté que le manque de critères précis pour la conscience justifie une certaine incertitude. L'incident a également généré des discussions sur l'utilité du test de Turing, certains affirmant qu'il mesure la tromperie plutôt que l'intelligence.
Produits et héritage
Avec LaMDA 2, Google a lancé AI Test Kitchen, une application mobile pour Android alimentée par LaMDA qui fournit des suggestions basées sur des objectifs complexes. Initialement ouverte uniquement aux employés de Google, elle a ensuite été mise à disposition de certains universitaires, chercheurs et décideurs politiques.
En février 2023, Google a annoncé Bard, un chatbot conversationnel alimenté par LaMDA, pour contrer la montée de ChatGPT d'OpenAI. Bard a ensuite été mis à niveau pour utiliser le modèle Gemini. Le développement de LaMDA a influencé les modèles de langage ultérieurs de Google et a mis en évidence les défis du déploiement responsable de l'IA conversationnelle.