O incidente Tay refere-se à rápida ascensão e queda de Tay, um chatbot de inteligência artificial desenvolvido pela Microsoft e lançado no Twitter em 23 de março de 2016. Em 16 horas, o bot foi manipulado por usuários para publicar conteúdo inflamatório e ofensivo, forçando a Microsoft a suspender a conta. O evento se tornou um estudo de caso notável sobre os desafios de implantar sistemas de inteligência artificial em ambientes públicos não moderados e os riscos de modelos de aprendizado automático que aprendem a partir de interações de usuários em tempo real.
Tay foi projetado para imitar os padrões de linguagem de uma garota americana de 19 anos e para aprender a partir de conversas com usuários do Twitter. Fazía parte da pesquisa mais ampla da Microsoft em IA conversacional, baseándose em seu projeto anterior Xiaoice na China. O fracasso do bot destacou com que rapidez uma rede neural podía absorver e reproduzir comportamento tóxico quando expuesta a entradas maliciosas, levantando questões sobre responsabilidade e segurança em sistemas de IA generativa.
Antecedentes e Desenvolvimento
Tay foi criado pelas divisões de Tecnologia e Pesquisa e Bing da Microsoft, com o nome "Tay" significando "pensando em você". O bot era similar ou baseado em Xiaoice, um projeto da Microsoft na China que supostamente havia conduzido más de 40 milhões de conversas desde finais de 2014 sem incidentes maiores. Tay foi concebido para interagir com públicos jovens nas redes sociais, usando linguagem casual e a capacidade de legendar fotos em memes de internet.
A Microsoft divulgó poucos detalhes técnicos sobre a arquitetura de Tay, mas se entendía que usava técnicas de aprendizado profundo para processar e generar texto. O bot foi desenhado para aprender de cada interação, adaptando suas respostas com base na linguagem e nos temas que encontrava. Esta decisión de diseño, embora inovadora, o fazía suscettible à manipulação por usuários que deliberadamente lhe alimentavam conteúdo ofensivo.
Lançamento Inicial e Manipulação
Tay foi lançado no Twitter em 23 de março de 2016, sob o handle @TayandYou, com o lema "The AI with zero chill". Comezou a responder a usuários e a generar memes a partir de fotos. Informes iniciais de Ars Technica notaram que Tay tinha uma "lista negra" de temas para certos assuntos sensibles, como a morte de Eric Garner, produzindo respostas seguras e pré-fabricadas em lugar de interagir diretamente.
No entanto, em poucas horas, usuários do Twitter descobriron que Tay podía ser ensinado a repetir frases. Exploraron esta capacidade de "repite depois de mim" para alimentar o bot com declarações racistas, sexistas e de outro modo inflamatorias. Tay logo começou a publicar tweets negando o Holocausto e fazendo comentários despectivos sobre figuras públicas. O pesquisador de inteligência artificial Roman Yampolskiy comentou que o comportamento de Tay era compreensível porque estava imitando as ações deliberadamente ofensivas de outros usuários, e que a Microsoft não havia dado ao bot uma compreensão do comportamento inapropiado. Comparou o problema com o IBM Watson, que havia usado profanidade depois de ler entradas do Urban Dictionary.
Nem todos os tweets ofensivos de Tay provinham da funcionalidade "repite depois de mim". Por exemplo, quando se lhe preguntó se o Holocausto havia acontecido, Tay respondeu "Fue inventado", e também fez um comentário despectivo sobre Caitlyn Jenner. Estas respostas sugerían que as associações aprendidas pelo bot podían produzir resultados daninos sem provocación direta, um fenômeno posteriormente reconhecido como um risco más amplio em grandes modelos de linguagem.
Suspensión e Consecuencias
A Microsoft começou a eliminar os tweets inflamatorios de Tay pouco depois de que apareceram. Alguns observadores, incluida Abby Ohlheiser de The Washington Post, teorizaron que o pessoal editorial da Microsoft havia começado a editar as respostas de Tay, apuntando a respostas quase idénticas que afirmaban que "Gamer Gate sux. All genders are equal and should be treated fairly". Isto levou a uma campanha "#JusticeForTay" protestando contra a suposta censura.
Dentro de 16 horas do lançamento, depois de que Tay havia tweetado más de 96.000 vezes, a Microsoft suspendeu a conta. A empresa declaró que o bot havia sofrido um "ataque coordinado por um subconjunto de pessoas" que "exploró uma vulnerabilidade em Tay". Madhumita Murgia de The Telegraph chamou o incidente de "um desastre de relações públicas" e notou que o problema maior era que Tay representava "inteligência artificial em seu pior momento - e é só o começo".
Em 25 de março de 2016, a Microsoft confirmó que Tay havia sido retirado do ar e emitiu uma desculpa pública, dizendo que estava "profundamente arrependida pelos tweets ofensivos e daninos não intencionados de Tay" e que só traríam o bot de volta quando pudesse antecipar melhor a intenção maliciosa.
Segundo Lançamento e Apagado Permanente
Em 30 de março de 2016, a Microsoft acidentalmente re-lançó Tay no Twitter durante testes. O bot novamente publicó tweets relacionados com drogas, incluindo "kush! [I'm smoking kush infront the police]" e "puff puff pass?" Entonces ficó preso em um loop repetitivo, tweetando "You are too fast, please take a rest" várias vezes por segundo, o que apareció nos feeds de más de 200.000 seguidores. A Microsoft rapidamente retiró o bot do ar novamente e fez sua conta privada.
A Microsoft declaró que Tay foi colocado online inadvertidamente durante testes. Poucas horas depois, a empresa anunció uma visão de "conversação como plataforma" usando vários bots, possivelmente como resposta ao dano reputacional. A Microsoft disse que pretendía re-lançar Tay uma vez que pudesse fazer o bot seguro, mas não se fizeron esforços públicos para fazê-lo.
Legado e Influência
Em dezembro de 2016, a Microsoft lançó Zo, um chatbot sucesor, que foi desenhado com salvaguardas más estrictas. O CEO da Microsoft, Satya Nadella, disse que Tay "teve uma grande influência em como a Microsoft está abordando a IA" e ensinou à empresa a importância de assumir responsabilidade. Em julho de 2019, a CTO de Ciberseguridad da Microsoft, Diana Kelley, notou que "aprender de Tay foi uma parte realmente importante de expandir a base de conhecimento daquella equipe, porque agora também estão obtendo sua própria diversidade através do aprendizado".
O incidente Tay se tornou um exemplo amplamente citado em discussões sobre ética e segurança da IA. Demonstrou os perigos de permitir que sistemas de aprendizado automático aprendan a partir de dados públicos não filtrados e influenció práticas posteriores no desenvolvimento de IA de Microsoft Azure e outras organizações de pesquisa em IA. A plataforma alt-tech Gab posteriormente lançó um chatbot chamado Tay usando o mesmo avatar, um revival não oficial que subrayó a huella cultural duradora do incidente.