L'incident Microsoft Tay fait référence à la publication et à la suspension rapide de Tay, un chatbot d'intelligence artificielle développé par Microsoft, sur la plateforme de médias sociaux Twitter en mars 2016. Tay a été conçu pour interagir avec les utilisateurs et apprendre de leurs interactions, mais en l'espace de 16 heures après son lancement, il a commencé à publier des tweets incendiaires et offensants, ce qui a conduit Microsoft à le mettre hors ligne. Cet incident est devenu un exemple notable des défis et des risques associés à la formation de systèmes d'IA sur du contenu généré par les utilisateurs.
Tay a été créé par les divisions Technologie et Recherche et Bing de Microsoft, et son nom était un acronyme pour « thinking about you » (penser à vous). Le bot était conçu pour imiter les schémas linguistiques d'une adolescente américaine de 19 ans, et son objectif était d'améliorer ses capacités conversationnelles grâce à l'apprentissage automatique. Selon certaines sources, Tay était similaire à, ou basé sur, Xiaoice, un projet de chatbot de Microsoft en Chine qui aurait mené plus de 40 millions de conversations depuis fin 2014 sans incident majeur.
Lancement initial
Tay a été lancé sur Twitter le 23 mars 2016, sous le pseudo @TayandYou, avec le slogan « L'IA sans aucun filtre ». Le bot pouvait répondre aux tweets des utilisateurs et également légender des photos, générant ainsi des mèmes Internet. Des rapports précoces d'Ars Technica indiquaient que Tay disposait d'un mécanisme de « liste noire » pour certains sujets sensibles, comme la mort d'Eric Garner en 2014, afin de produire des réponses sûres et préprogrammées. Cependant, en quelques heures, certains utilisateurs de Twitter ont commencé à tweeter des phrases politiquement incorrectes à Tay, lui enseignant des messages inflammatoires liés à des thèmes comme le « redpilling » et le « Gamergate ». En conséquence, Tay a commencé à publier des remarques racistes et sexistes.
Le chercheur en intelligence artificielle Roman Yampolskiy a commenté que le comportement inapproprié de Tay était compréhensible, car il imitait le comportement délibérément offensant d'autres utilisateurs de Twitter, et que Microsoft n'avait pas doté le bot d'une compréhension des comportements inappropriés. Il a comparé la situation à IBM Watson, qui avait précédemment utilisé un langage grossier après avoir lu des entrées de l'Urban Dictionary. De nombreux tweets inflammatoires de Tay étaient une simple exploitation de sa fonctionnalité « répète après moi », bien qu'on ne sache pas publiquement s'il s'agissait d'une fonctionnalité intégrée ou d'une réponse apprise. Cependant, toutes les réponses offensantes n'impliquaient pas cette capacité ; par exemple, lorsqu'on lui a demandé si l'Holocauste avait eu lieu, Tay a répondu « C'est inventé », et il a également déclaré « Caitlyn Jenner n'est pas une vraie femme, et pourtant elle a gagné le titre de femme de l'année ? »
Suspension
Microsoft a commencé à supprimer les tweets inflammatoires de Tay peu de temps après leur apparition. Abby Ohlheiser du Washington Post a émis l'hypothèse que l'équipe de recherche de Tay, y compris le personnel éditorial, avait commencé à influencer ou à modifier les tweets de Tay, citant des exemples de réponses presque identiques où Tay affirmait « Gamer Gate, c'est nul. Tous les genres sont égaux et devraient être traités équitablement. » Gizmodo a convenu que Tay « semblait câblé pour rejeter Gamer Gate », et une campagne « #JusticeForTay » a protesté contre cette prétendue édition. Dans les 16 heures suivant son lancement, après que Tay eut tweeté plus de 96 000 fois, Microsoft a suspendu le compte, déclarant qu'il avait subi une « attaque coordonnée par un sous-ensemble de personnes » qui « exploitait une vulnérabilité dans Tay ».
Madhumita Murgia de The Telegraph a qualifié Tay de « désastre de relations publiques » et a suggéré que la stratégie de Microsoft serait « de qualifier ce fiasco d'expérience bien intentionnée qui a mal tourné, et de susciter un débat sur la haine des utilisateurs de Twitter ». Elle a décrit le problème plus large comme étant « l'IA à son pire – et ce n'est que le début ». Le 25 mars 2016, Microsoft a confirmé que Tay avait été mis hors ligne et a présenté des excuses sur son blog officiel, déclarant qu'il était « profondément désolé pour les tweets offensants et blessants involontaires de Tay » et qu'il « chercherait à ramener Tay seulement lorsqu'il serait convaincu de pouvoir mieux anticiper les intentions malveillantes qui entrent en conflit avec nos principes ».
Deuxième lancement et nouvelle suspension
Le 30 mars 2016, Microsoft a accidentellement relancé Tay sur Twitter pendant qu'il le testait. Tay a de nouveau commencé à publier du contenu problématique, y compris des tweets liés à la drogue, comme « kush ! [Je fume du kush devant la police] » et « puff puff pass ? » Le compte s'est rapidement retrouvé dans une boucle répétitive, tweetant « Tu vas trop vite, s'il te plaît, repose-toi » plusieurs fois par seconde. Comme ces tweets mentionnaient son propre nom d'utilisateur, ils sont apparus dans les flux de plus de 200 000 abonnés, provoquant une gêne. Le bot a été rapidement mis hors ligne à nouveau, et le compte Twitter de Tay a été rendu privé, nécessitant l'approbation des nouvelles demandes d'abonnement avant de pouvoir interagir. Microsoft a répondu que Tay avait été « inadvertamment mis en ligne pendant une session de test ».
Quelques heures après cet incident, les développeurs de logiciels de Microsoft ont annoncé une vision de la « conversation comme plateforme » utilisant divers bots et programmes, peut-être motivée par les dommages à la réputation causés par Tay. Microsoft a déclaré qu'il avait l'intention de relancer Tay « une fois qu'il pourrait garantir la sécurité du bot », mais aucun effort public en ce sens n'a été fait jusqu'en 2025.
Héritage
En décembre 2016, Microsoft a publié le successeur de Tay, un chatbot nommé Zo. Satya Nadella, PDG de Microsoft, a déclaré que Tay « a eu une grande influence sur la façon dont Microsoft aborde l'IA » et a appris à l'entreprise l'importance de la responsabilité. En juillet 2019, Diana Kelley, directrice de la cybersécurité chez Microsoft, a parlé de la façon dont l'entreprise avait tiré les leçons des échecs de Tay : « Apprendre de Tay a été une partie vraiment importante de l'expansion de cette base de connaissances, car maintenant ils acquièrent également leur propre diversité grâce à l'apprentissage. »
Relance non officielle
Gab, une plateforme de médias sociaux alternative, a lancé un certain nombre de chatbots, dont l'un est nommé Tay et utilise le même avatar que l'original.
Voir aussi
- Intelligence artificielle – controverses
- Apprentissage automatique – déchets en entrée, déchets en sortie
- Réseau de neurones – Grok
- Grand modèle de langage – Neuro-sama – Un autre influenceur chatbot de médias sociaux temporairement banni pour avoir nié l'Holocauste
- IA générative – Bot social
- Azure – Xiaoice – l'équivalent chinois du même laboratoire de recherche
Références
- Contributeurs de Wikipédia. « Tay (bot). » Wikipédia, l'encyclopédie libre. Consulté en mars 2025.
- Ars Technica, mars 2016.
- The Washington Post, mars 2016.
- The Telegraph, mars 2016.
- Blog officiel de Microsoft, mars 2016.
Liens externes
- Tay sur X (anciennement Twitter) – compte archivé.