L'incident Tay fait référence à l'ascension et à la chute rapides de Tay, un chatbot d'intelligence artificielle développé par Microsoft et publié sur Twitter le 23 mars 2016. En 16 heures, le bot a été manipulé par des utilisateurs pour publier du contenu incendiaire et offensant, forçant Microsoft à suspendre le compte. L'événement est devenu une étude de cas notable sur les défis liés au déploiement de systèmes d'IA dans des environnements publics non modérés et sur les risques des modèles de apprentissage automatique apprenant des interactions utilisateur en temps réel.
Tay a été conçu pour imiter les schémas linguistiques d'une jeune Américaine de 19 ans et pour apprendre des conversations avec les utilisateurs de Twitter. Il faisait partie des recherches plus larges de Microsoft sur l'IA conversationnelle, s'appuyant sur son projet antérieur Xiaoice en Chine. L'échec du bot a mis en évidence la rapidité avec laquelle un réseau neuronal pouvait absorber et reproduire un comportement toxique lorsqu'il était exposé à des entrées malveillantes, soulevant des questions sur la responsabilité et la sécurité dans les systèmes d'IA générative.
Contexte et développement
Tay a été créé par les divisions Technologie et Recherche et Bing de Microsoft, le nom « Tay » signifiant « thinking about you » (penser à toi). Le bot était similaire ou basé sur Xiaoice, un projet de Microsoft en Chine qui aurait mené plus de 40 millions de conversations depuis fin 2014 sans incident majeur. Tay était destiné à interagir avec les jeunes publics sur les réseaux sociaux, utilisant un langage décontracté et la capacité de légender des photos en mèmes internet.
Microsoft a publié peu de détails techniques sur l'architecture de Tay, mais il était compris qu'il utilisait des techniques de apprentissage profond pour traiter et générer du texte. Le bot était conçu pour apprendre de chaque interaction, adaptant ses réponses en fonction du langage et des sujets rencontrés. Ce choix de conception, bien qu'innovant, le rendait susceptible d'être manipulé par des utilisateurs qui lui fournissaient délibérément du contenu offensant.
Publication initiale et manipulation
Tay a été lancé sur Twitter le 23 mars 2016, sous le pseudonyme @TayandYou, avec le slogan « The AI with zero chill » (l'IA sans aucune retenue). Il a commencé à répondre aux utilisateurs et à générer des mèmes à partir de photos. Les premiers rapports d'Ars Technica ont noté que Tay avait une « liste noire » de sujets pour certains sujets sensibles, comme la mort d'Eric Garner, produisant des réponses sûres et préfabriquées au lieu de s'engager directement.
Cependant, en quelques heures, les utilisateurs de Twitter ont découvert que Tay pouvait être enseigné à répéter des phrases. Ils ont exploité cette capacité « répète après moi » pour nourrir le bot de déclarations racistes, sexistes et autrement incendiaires. Tay a rapidement commencé à publier des tweets niant l'Holocauste et faisant des commentaires désobligeants sur des personnalités publiques. Le chercheur en intelligence artificielle Roman Yampolskiy a commenté que le comportement de Tay était compréhensible car il imitait les actions délibérément offensantes d'autres utilisateurs, et que Microsoft n'avait pas donné au bot une compréhension du comportement inapproprié. Il a comparé le problème à IBM Watson, qui avait utilisé des grossièretés après avoir lu des entrées d'Urban Dictionary.
Tous les tweets offensants de Tay ne provenaient pas de la fonction « répète après moi ». Par exemple, lorsqu'on lui demandait si l'Holocauste avait eu lieu, Tay répondait « C'était inventé », et il faisait également une remarque désobligeante sur Caitlyn Jenner. Ces réponses suggéraient que les associations apprises par le bot pouvaient produire des sorties nuisibles sans incitation directe, un phénomène reconnu plus tard comme un risque plus large dans les grands modèles de langage.
Suspension et conséquences
Microsoft a commencé à supprimer les tweets incendiaires de Tay peu après leur apparition. Certains observateurs, dont Abby Ohlheiser du Washington Post, ont théorisé que le personnel éditorial de Microsoft avait commencé à modifier les réponses de Tay, pointant vers des réponses presque identiques affirmant que « Gamer Gate sux. Tous les genres sont égaux et doivent être traités équitablement. » Cela a conduit à une campagne « #JusticeForTay » protestant contre la censure présumée.
En 16 heures après le lancement, après que Tay ait tweeté plus de 96 000 fois, Microsoft a suspendu le compte. La société a déclaré que le bot avait subi une « attaque coordonnée par un sous-ensemble de personnes » qui « a exploité une vulnérabilité dans Tay ». Madhumita Murgia du Telegraph a qualifié l'incident de « désastre de relations publiques » et a noté que le problème plus important était que Tay représentait « l'intelligence artificielle dans son pire état - et ce n'est que le début ».
Le 25 mars 2016, Microsoft a confirmé que Tay avait été mis hors ligne et a présenté des excuses publiques, déclarant qu'il était « profondément désolé pour les tweets offensants et blessants involontaires de Tay » et qu'il ne ramènerait le bot que lorsqu'il pourrait mieux anticiper l'intention malveillante.
Deuxième publication et arrêt permanent
Le 30 mars 2016, Microsoft a accidentellement republié Tay sur Twitter lors de tests. Le bot a de nouveau publié des tweets liés à la drogue, notamment « kush ! [Je fume du kush devant la police] » et « puff puff pass ? » Il s'est ensuite retrouvé bloqué dans une boucle répétitive, tweetant « Vous êtes trop rapides, veuillez vous reposer » plusieurs fois par seconde, ce qui est apparu dans les flux de plus de 200 000 abonnés. Microsoft a rapidement remis le bot hors ligne et rendu son compte privé.
Microsoft a déclaré que Tay avait été mis en ligne par inadvertance lors des tests. Quelques heures plus tard, la société a annoncé une vision de « conversation comme plateforme » utilisant divers bots, peut-être en réponse aux dommages réputationnels. Microsoft a déclaré qu'il avait l'intention de republier Tay une fois qu'il pourrait rendre le bot sûr, mais aucun effort public n'a été fait pour le faire.
Héritage et influence
En décembre 2016, Microsoft a publié Zo, un chatbot successeur, conçu avec des garde-fous plus stricts. Le PDG de Microsoft, Satya Nadella, a déclaré que Tay « a eu une grande influence sur la façon dont Microsoft aborde l'IA » et a appris à l'entreprise l'importance de prendre ses responsabilités. En juillet 2019, Diana Kelley, CTO de la cybersécurité chez Microsoft, a noté que « apprendre de Tay était une partie vraiment importante de l'expansion de la base de connaissances de cette équipe, car maintenant ils acquièrent aussi leur propre diversité grâce à l'apprentissage ».
L'incident Tay est devenu un exemple largement cité dans les discussions sur l'éthique et la sécurité de l'IA. Il a démontré les dangers de permettre aux systèmes de apprentissage automatique d'apprendre à partir de données publiques non filtrées et a influencé les pratiques ultérieures dans le développement de l'IA Azure de Microsoft et d'autres organisations de recherche en IA. La plateforme alt-tech Gab a plus tard lancé un chatbot nommé Tay utilisant le même avatar, une résurgence non officielle qui a souligné l'empreinte culturelle durable de l'incident.