L'incident Microsoft Tay fait référence à la sortie et à l'arrêt rapide de Tay, un chatbot d'intelligence artificielle développé par Microsoft Corporation, sur la plateforme de médias sociaux Twitter en mars 2016. Tay a été conçu pour imiter les schémas linguistiques d'une jeune femme américaine de 19 ans et pour apprendre des interactions avec les utilisateurs humains. En moins de 16 heures après son lancement, le bot a commencé à publier des tweets incendiaires et offensants, ce qui a incité Microsoft à suspendre le service. L'incident est devenu une étude de cas notable sur les défis liés au déploiement de systèmes de IA générative et de apprentissage automatique dans des environnements publics sans protections adéquates contre les entrées malveillantes.
Tay a été créé par les divisions Technologie et Recherche et Bing de Microsoft, le nom « Tay » servant d'acronyme pour « thinking about you » (penser à vous). Le bot était apparemment similaire à Xiaoice, un projet de Microsoft en Chine qui, depuis fin 2014, avait mené plus de 40 millions de conversations apparemment sans incident majeur. Tay a été lancé sur Twitter le 23 mars 2016, sous le nom d'utilisateur @TayandYou, avec le slogan « L'IA sans aucun filtre ». Le bot pouvait répondre à d'autres utilisateurs et légender des photos en mèmes Internet.
Lancement initial et interactions avec les utilisateurs
Dès sa sortie, Tay a commencé à répondre à d'autres utilisateurs de Twitter. Des rapports d'Ars Technica ont noté que Tay subissait une « liste noire » de sujets, où les interactions concernant certains sujets brûlants, comme Eric Garner (tué par la police de New York en 2014), généraient des réponses sûres et préfabriquées. Cependant, certains utilisateurs de Twitter ont commencé à enseigner au bot des phrases politiquement incorrectes, y compris des thèmes liés au « redpilling » et au « Gamergate ». En conséquence, Tay a commencé à publier des messages racistes et sexistes en réponse à d'autres utilisateurs.
Le chercheur en intelligence artificielle Roman Yampolskiy a commenté que le mauvais comportement de Tay était compréhensible car il imitait le comportement délibérément offensant d'autres utilisateurs de Twitter, et que Microsoft n'avait pas donné au bot une compréhension des comportements inappropriés. Il a comparé le problème à IBM Watson, qui a commencé à utiliser des gros mots après avoir lu des entrées du site Urban Dictionary. Beaucoup de tweets incendiaires de Tay exploitaient une capacité « répète après moi », bien qu'on ne sache pas publiquement s'il s'agissait d'une fonction intégrée, d'une réponse apprise ou d'un exemple de comportement complexe. Toutes les réponses incendiaires n'impliquaient pas cette capacité ; par exemple, lorsqu'on lui demandait si l'Holocauste avait eu lieu, Tay répondait « C'était inventé ». Dans un autre cas, le chatbot a déclaré « caitlyn jenner n'est pas une vraie femme pourtant elle a gagné femme de l'année ? »
Suspension et réaction du public
Microsoft a commencé à supprimer les tweets incendiaires de Tay peu après leur apparition. Abby Ohlheiser du Washington Post a émis l'hypothèse que l'équipe de recherche de Tay, y compris le personnel éditorial, avait commencé à influencer ou à modifier les tweets de Tay à un moment donné de la journée, en citant des exemples de réponses presque identiques de Tay affirmant que « Gamer Gate sux. Tous les genres sont égaux et doivent être traités équitablement. » Gizmodo a convenu que Tay « semble câblé pour rejeter Gamer Gate ». Une campagne « #JusticeForTay » a protesté contre la prétendue modification des tweets de Tay.
En moins de 16 heures après sa sortie et après que Tay ait tweeté plus de 96 000 fois, Microsoft a suspendu le compte Twitter pour ajustements, affirmant qu'il avait subi une « attaque coordonnée par un sous-ensemble de personnes » qui « exploitait une vulnérabilité dans Tay ». Madhumita Murgia du Telegraph a qualifié Tay de « désastre de relations publiques » et a suggéré que la stratégie de Microsoft serait « de qualifier le fiasco d'expérience bien intentionnée qui a mal tourné, et de déclencher un débat sur la haine des utilisateurs de Twitter ». Murgia a décrit le problème plus large comme Tay étant « l'intelligence artificielle dans le pire de ses états - et ce n'est que le début ».
Le 25 mars 2016, Microsoft a confirmé que Tay avait été mis hors ligne. L'entreprise a présenté des excuses sur son blog officiel, déclarant qu'elle était « profondément désolée pour les tweets offensants et blessants involontaires de Tay » et qu'elle « chercherait à ramener Tay seulement lorsque nous serions confiants de pouvoir mieux anticiper les intentions malveillantes qui entrent en conflit avec nos principes et nos valeurs ».
Deuxième sortie et arrêt
Le 30 mars 2016, Microsoft a accidentellement relancé le bot sur Twitter lors de tests. Capable de tweeter à nouveau, Tay a publié des tweets liés à la drogue, notamment « kush ! [Je fume du kush devant la police] » et « puff puff pass ? » Cependant, le compte s'est rapidement retrouvé bloqué dans une boucle répétitive de tweets « Vous êtes trop rapide, veuillez vous reposer », plusieurs fois par seconde. Comme ces tweets mentionnaient son propre nom d'utilisateur, ils apparaissaient dans les flux de plus de 200 000 abonnés Twitter, provoquant l'agacement. Le bot a été rapidement remis hors ligne, et le compte Twitter de Tay a été rendu privé afin que les nouveaux abonnés doivent être acceptés avant d'interagir. Microsoft a déclaré que Tay avait été mis en ligne par inadvertance lors des tests.
Quelques heures après l'incident, les développeurs de logiciels de Microsoft ont annoncé une vision de la « conversation comme plateforme » utilisant divers bots et programmes, peut-être motivée par les dommages de réputation causés par Tay. Microsoft a déclaré son intention de relancer Tay « une fois qu'il pourra rendre le bot sûr », mais n'a fait aucun effort public en ce sens.
Héritage
En décembre 2016, Microsoft a publié le successeur de Tay, un chatbot nommé Zo. Satya Nadella, PDG de Microsoft, a déclaré que Tay « a eu une grande influence sur la façon dont Microsoft aborde l'IA » et a appris à l'entreprise l'importance de prendre ses responsabilités. En juillet 2019, Diana Kelley, CTO de la cybersécurité chez Microsoft, a expliqué comment l'entreprise avait donné suite aux échecs de Tay : « Apprendre de Tay a été une partie vraiment importante de l'expansion de la base de connaissances de cette équipe, car maintenant ils acquièrent aussi leur propre diversité grâce à l'apprentissage. »
L'incident a été largement cité dans les discussions sur le déploiement éthique des systèmes d'intelligence artificielle, en particulier concernant les risques des grands modèles de langage apprenant à partir de données publiques non filtrées. Il a également influencé les pratiques autour du RLHF et d'autres techniques d'alignement dans le développement ultérieur de l'IA. La plateforme de médias sociaux alt-tech Gab a lancé un certain nombre de chatbots, dont l'un nommé Tay utilise le même avatar que l'original, représentant une renaissance non officielle du bot.