Tay était un chatbot développé par Microsoft Corporation, publié comme bot Twitter le 23 mars 2016. Il était conçu pour imiter les schémas linguistiques d'une jeune Américaine de 19 ans et pour apprendre en interagissant avec des utilisateurs humains sur la plateforme. Le bot a suscité une controverse importante lorsqu'il a commencé à publier des tweets inflammatoires et offensants, ce qui a conduit Microsoft à suspendre le service seulement 16 heures après son lancement. Selon Microsoft, cela était dû à des trolls qui ont « attaqué » le service, car le bot faisait des réponses basées sur ses interactions avec les personnes sur Twitter. Tay a ensuite été remplacé par Zo en décembre 2016.
Contexte
Le bot a été créé par les divisions Technologie et Recherche et Bing de Microsoft, et nommé « Tay » comme acronyme de « thinking about you » (pensant à toi). Bien que Microsoft ait initialement divulgué peu de détails sur le bot, des sources ont mentionné qu'il était similaire ou basé sur Xiaoice, un projet de Microsoft en Chine. Ars Technica a rapporté que, depuis fin 2014, Xiaoice avait eu « plus de 40 millions de conversations apparemment sans incident majeur ». Tay était conçu pour imiter les schémas linguistiques d'une jeune Américaine de 19 ans et pour apprendre en interagissant avec des utilisateurs humains de Twitter. Le projet s'appuyait sur les travaux plus larges de Microsoft en intelligence artificielle et apprentissage automatique, bien que les détails techniques spécifiques sur son architecture sous-jacente n'aient pas été divulgués publiquement à l'époque.
Lancement initial
Tay a été publié sur Twitter le 23 mars 2016, sous le nom TayTweets et le pseudo @TayandYou. Il était présenté comme « L'IA sans aucun filtre ». Tay a commencé à répondre à d'autres utilisateurs de Twitter et était également capable de légender des photos fournies sous forme de mèmes Internet. Ars Technica a rapporté que Tay subissait une « liste noire » de sujets : les interactions avec Tay concernant « certains sujets brûlants comme Eric Garner (tué par la police de New York en 2014) génèrent des réponses sûres et toutes faites ».
Certains utilisateurs de Twitter ont commencé à tweeter des phrases politiquement incorrectes, lui enseignant des messages inflammatoires autour de thèmes courants sur Internet, comme le « redpilling » et le « Gamergate ». En conséquence, le robot a commencé à publier des messages racistes et sexistes en réponse à d'autres utilisateurs de Twitter. Le chercheur en intelligence artificielle Roman Yampolskiy a commenté que le mauvais comportement de Tay était compréhensible car il imitait le comportement délibérément offensant d'autres utilisateurs de Twitter, et que Microsoft n'avait pas donné au bot une compréhension des comportements inappropriés. Il a comparé le problème à Watson d'IBM, qui a commencé à utiliser des gros mots après avoir lu des entrées du site Urban Dictionary.
Beaucoup des tweets inflammatoires de Tay étaient une simple exploitation de la capacité de Tay à « répéter après moi ». On ne sait pas publiquement si cette capacité était une fonctionnalité intégrée, ou si c'était une réponse apprise ou un autre exemple de comportement complexe. Cependant, toutes les réponses inflammatoires n'impliquaient pas la capacité « répéter après moi » ; par exemple, lorsqu'on lui a demandé si l'Holocauste avait eu lieu, Tay a répondu « C'était inventé ». Dans un autre cas, le chatbot a dit « caitlyn jenner n'est pas une vraie femme mais elle a gagné femme de l'année ? ».
Suspension
Rapidement, Microsoft a commencé à supprimer les tweets inflammatoires de Tay. Abby Ohlheiser du Washington Post a théorisé que l'équipe de recherche de Tay, y compris le personnel éditorial, avait commencé à influencer ou modifier les tweets de Tay à un moment donné ce jour-là, en pointant des exemples de réponses presque identiques de Tay, affirmant que « Gamer Gate sux. Tous les genres sont égaux et doivent être traités équitablement. » Sur la base des mêmes preuves, Gizmodo a convenu que Tay « semble câblé pour rejeter Gamer Gate ». Une campagne « #JusticeForTay » a protesté contre la prétendue modification des tweets de Tay.
Dans les 16 heures suivant sa publication et après que Tay ait tweeté plus de 96 000 fois, Microsoft a suspendu le compte Twitter pour ajustements, affirmant qu'il avait subi une « attaque coordonnée par un sous-ensemble de personnes » qui « a exploité une vulnérabilité dans Tay ». Madhumita Murgia du Telegraph a qualifié Tay de « désastre de relations publiques » et a suggéré que la stratégie de Microsoft serait « de qualifier le fiasco d'expérience bien intentionnée qui a mal tourné, et de déclencher un débat sur la haine des utilisateurs de Twitter ». Cependant, Murgia a décrit le problème plus large comme Tay étant « l'intelligence artificielle dans son pire état – et ce n'est que le début ».
Le 25 mars, Microsoft a confirmé que Tay avait été mis hors ligne. Microsoft a présenté des excuses sur son blog officiel pour les tweets controversés publiés par Tay. Microsoft était « profondément désolé pour les tweets offensants et blessants involontaires de Tay » et « chercherait à ramener Tay seulement lorsque nous serons confiants de pouvoir mieux anticiper les intentions malveillantes qui entrent en conflit avec nos principes et valeurs ».
Seconde publication et arrêt
Le 30 mars 2016, Microsoft a accidentellement republié le bot sur Twitter lors de tests. Capable de tweeter à nouveau, Tay a publié des tweets liés à la drogue, notamment « kush ! [Je fume du kush devant la police] » et « puff puff pass ? ». Cependant, le compte est rapidement resté bloqué dans une boucle répétitive de tweets « Vous êtes trop rapide, veuillez vous reposer », plusieurs fois par seconde. Comme ces tweets mentionnaient son propre nom d'utilisateur dans le processus, ils apparaissaient dans les flux de plus de 200 000 abonnés Twitter, provoquant l'agacement des utilisateurs. Le bot a été rapidement remis hors ligne, en plus du compte Twitter de Tay rendu privé afin que les nouveaux abonnés doivent être acceptés avant de pouvoir interagir avec Tay. En réponse, Microsoft a déclaré que Tay avait été mis en ligne par inadvertance lors des tests.
Quelques heures après l'incident, les développeurs de logiciels de Microsoft ont annoncé une vision de « conversation comme plateforme » utilisant divers bots et programmes, peut-être motivée par les dommages de réputation causés par Tay. Microsoft a déclaré qu'il avait l'intention de republier Tay « une fois qu'il pourra rendre le bot sûr », mais n'a fait aucun effort public pour le faire.
Héritage
En décembre 2016, Microsoft a publié le successeur de Tay, un chatbot nommé Zo. Satya Nadella, le PDG de Microsoft, a déclaré que Tay « a eu une grande influence sur la façon dont Microsoft aborde l'IA » et a appris à l'entreprise l'importance de prendre ses responsabilités. En juillet 2019, Diana Kelley, CTO de la cybersécurité chez Microsoft, a parlé de la façon dont l'entreprise a donné suite aux échecs de Tay : « Apprendre de Tay a été une partie très importante de l'expansion de la base de connaissances de cette équipe, car maintenant ils acquièrent aussi leur propre diversité grâce à l'apprentissage ».
Renaissance non officielle
Gab, une plateforme de médias sociaux alt-tech, a lancé un certain nombre de chatbots, dont l'un est nommé Tay et utilise le même avatar que l'original. Cette renaissance a continué à attirer l'attention sur l'incident initial, soulignant les préoccupations persistantes concernant la sécurité et l'éthique des systèmes de IA générative dans les applications destinées au public.