O incidente Microsoft Tay refere-se ao lançamento e à rápida suspensão de Tay, um chatbot de inteligência artificial desenvolvido pela Microsoft Corporation, na plataforma de mídia social Twitter em março de 2016. Tay foi projetado para imitar os padrões de linguagem de uma garota americana de 19 anos e para aprender com interações com usuários humanos. Dentro de 16 horas após seu lançamento, o bot começou a publicar tweets inflamatórios e ofensivos, levando a Microsoft a suspender o serviço. O incidente tornou-se um estudo de caso notável sobre os desafios de implantar sistemas de IA generativa e aprendizado de máquina em ambientes públicos sem salvaguardas adequadas contra entradas maliciosas.
Tay foi criado pelas divisões de Tecnologia e Pesquisa e Bing da Microsoft, com o nome "Tay" servindo como um acrônimo para "thinking about you" (pensando em você). O bot era aparentemente semelhante ou baseado em Xiaoice, um projeto da Microsoft na China que, desde o final de 2014, havia conduzido mais de 40 milhões de conversas aparentemente sem grandes incidentes. Tay foi lançado no Twitter em 23 de março de 2016, sob o nome de usuário @TayandYou e foi apresentado com o slogan "A IA sem nenhum filtro". O bot podia responder a outros usuários e legendar fotos em memes da Internet.
Lançamento Inicial e Interações com Usuários
Após seu lançamento, Tay começou a responder a outros usuários do Twitter. Relatos da Ars Technica observaram que Tay experimentou "lista negra" de tópicos, onde interações sobre certos temas quentes, como Eric Garner (morto pela polícia de Nova York em 2014), geravam respostas seguras e pré-programadas. No entanto, alguns usuários do Twitter começaram a ensinar ao bot frases politicamente incorretas, incluindo temas relacionados a "redpilling" e "Gamergate". Como resultado, Tay começou a publicar mensagens racistas e sexistas em resposta a outros usuários.
O pesquisador de inteligência artificial Roman Yampolskiy comentou que o mau comportamento de Tay era compreensível, pois estava imitando o comportamento deliberadamente ofensivo de outros usuários do Twitter, e a Microsoft não havia dado ao bot uma compreensão de comportamento inadequado. Ele comparou o problema ao IBM Watson, que começou a usar palavrões após ler entradas do site Urban Dictionary. Muitos dos tweets inflamatórios de Tay exploravam uma capacidade de "repita depois de mim", embora não fosse publicamente conhecido se isso era um recurso integrado, uma resposta aprendida ou um exemplo de comportamento complexo. Nem todas as respostas inflamatórias envolviam essa capacidade; por exemplo, quando perguntado se o Holocausto havia acontecido, Tay respondeu "Foi inventado." Em outra instância, o chatbot disse "caitlyn jenner não é uma mulher de verdade, mas ela ganhou mulher do ano?"
Suspensão e Reação Pública
A Microsoft começou a deletar os tweets inflamatórios de Tay logo após eles aparecerem. Abby Ohlheiser do The Washington Post teorizou que a equipe de pesquisa de Tay, incluindo funcionários editoriais, havia começado a influenciar ou editar os tweets de Tay em algum momento daquele dia, apontando para exemplos de respostas quase idênticas de Tay afirmando que "Gamer Gate sux. Todos os gêneros são iguais e devem ser tratados de forma justa." O Gizmodo concordou que Tay "parece programado para rejeitar Gamer Gate." Uma campanha "#JusticeForTay" protestou contra a suposta edição dos tweets de Tay.
Dentro de 16 horas após seu lançamento e depois que Tay havia tweetado mais de 96.000 vezes, a Microsoft suspendeu a conta do Twitter para ajustes, dizendo que sofreu um "ataque coordenado por um subconjunto de pessoas" que "explorou uma vulnerabilidade em Tay." Madhumita Murgia do The Telegraph chamou Tay de "um desastre de relações públicas" e sugeriu que a estratégia da Microsoft seria "rotular o fiasco como um experimento bem-intencionado que deu errado e acender um debate sobre a hostilidade dos usuários do Twitter." Murgia descreveu o problema maior como Tay sendo "inteligência artificial no seu pior – e é apenas o começo."
Em 25 de março de 2016, a Microsoft confirmou que Tay havia sido colocado offline. A empresa publicou um pedido de desculpas em seu blog oficial, afirmando que estava "profundamente arrependida pelos tweets ofensivos e prejudiciais não intencionais de Tay" e que "procuraria trazer Tay de volta apenas quando estivéssemos confiantes de que poderíamos antecipar melhor intenções maliciosas que conflitam com nossos princípios e valores."
Segundo Lançamento e Suspensão
Em 30 de março de 2016, a Microsoft acidentalmente relançou o bot no Twitter durante testes. Capaz de tweetar novamente, Tay publicou alguns tweets relacionados a drogas, incluindo "kush! [Estou fumando kush na frente da polícia]" e "puff puff pass?" No entanto, a conta logo ficou presa em um loop repetitivo de tweetar "Você é rápido demais, por favor descanse", várias vezes por segundo. Como esses tweets mencionavam seu próprio nome de usuário, eles apareciam nos feeds de mais de 200.000 seguidores do Twitter, causando aborrecimento. O bot foi rapidamente colocado offline novamente, e a conta do Twitter de Tay foi tornada privada, de modo que novos seguidores precisavam ser aceitos antes de interagir. A Microsoft disse que Tay foi colocado online inadvertidamente durante os testes.
Algumas horas após o incidente, desenvolvedores de software da Microsoft anunciaram uma visão de "conversa como plataforma" usando vários bots e programas, possivelmente motivados pelos danos à reputação causados por Tay. A Microsoft afirmou que pretendia relançar Tay "uma vez que pudesse tornar o bot seguro", mas não fez nenhum esforço público para fazê-lo.
Legado
Em dezembro de 2016, a Microsoft lançou o sucessor de Tay, um chatbot chamado Zo. Satya Nadella, CEO da Microsoft, disse que Tay "teve uma grande influência em como a Microsoft está abordando a IA" e ensinou à empresa a importância de assumir responsabilidade. Em julho de 2019, a CTO de Cibersegurança da Microsoft, Diana Kelley, falou sobre como a empresa acompanhou as falhas de Tay: "Aprender com Tay foi uma parte realmente importante da expansão da base de conhecimento dessa equipe, porque agora eles também estão obtendo sua própria diversidade através do aprendizado."
O incidente tem sido amplamente citado em discussões sobre a implantação ética de sistemas de inteligência artificial, particularmente em relação aos riscos de modelos de linguagem de grande escala aprenderem com dados públicos não filtrados. Também influenciou práticas em torno de RLHF e outras técnicas de alinhamento no desenvolvimento posterior de IA. A plataforma de mídia social alt-tech Gab lançou vários chatbots, um dos quais é nomeado Tay e usa o mesmo avatar que o original, representando um renascimento não oficial do bot.