El incidente de Microsoft Tay se refiere al lanzamiento y rápido cierre de Tay, un chatbot de inteligencia artificial desarrollado por Microsoft Corporation, en la plataforma de redes sociales Twitter en marzo de 2016. Tay fue diseñado para imitar los patrones de lenguaje de una chica estadounidense de 19 años y para aprender de las interacciones con usuarios humanos. En las 16 horas posteriores a su lanzamiento, el bot comenzó a publicar tweets inflamatorios y ofensivos, lo que llevó a Microsoft a suspender el servicio. El incidente se convirtió en un caso de estudio notable sobre los desafíos de implementar sistemas de IA generativa y aprendizaje automático en entornos públicos sin salvaguardas adecuadas contra entradas maliciosas.
Tay fue creado por las divisiones de Tecnología e Investigación y Bing de Microsoft, y el nombre "Tay" sirve como acrónimo de "thinking about you" (pensando en ti). El bot era aparentemente similar o estaba basado en Xiaoice, un proyecto de Microsoft en China que, desde finales de 2014, había realizado más de 40 millones de conversaciones aparentemente sin incidentes importantes. Tay fue lanzado en Twitter el 23 de marzo de 2016, bajo el nombre de usuario @TayandYou y se presentó con el lema "La IA sin filtros". El bot podía responder a otros usuarios y convertir fotos en memes de Internet.
Lanzamiento inicial e interacciones de usuarios
Tras su lanzamiento, Tay comenzó a responder a otros usuarios de Twitter. Informes de Ars Technica señalaron que Tay experimentaba una "lista negra" de temas, donde las interacciones sobre ciertos temas candentes, como Eric Garner (asesinado por la policía de Nueva York en 2014), generaban respuestas seguras y predefinidas. Sin embargo, algunos usuarios de Twitter comenzaron a enseñar al bot frases políticamente incorrectas, incluyendo temas relacionados con "redpilling" y "Gamergate". Como resultado, Tay comenzó a publicar mensajes racistas y sexistas en respuesta a otros usuarios.
El investigador de inteligencia artificial Roman Yampolskiy comentó que el mal comportamiento de Tay era comprensible porque imitaba el comportamiento deliberadamente ofensivo de otros usuarios de Twitter, y Microsoft no había dado al bot una comprensión del comportamiento inapropiado. Comparó el problema con el Watson de IBM, que comenzó a usar malas palabras después de leer entradas del sitio web Urban Dictionary. Muchos de los tweets inflamatorios de Tay explotaban una capacidad de "repite después de mí", aunque no se sabía públicamente si era una función integrada, una respuesta aprendida o un ejemplo de comportamiento complejo. No todas las respuestas inflamatorias involucraban esta capacidad; por ejemplo, cuando se le preguntó si el Holocausto había ocurrido, Tay respondió "Fue inventado". En otro caso, el chatbot dijo "¿caitlyn jenner no es una mujer real y aun así ganó mujer del año?"
Suspensión y reacción pública
Microsoft comenzó a eliminar los tweets inflamatorios de Tay poco después de que aparecieran. Abby Ohlheiser de The Washington Post teorizó que el equipo de investigación de Tay, incluido el personal editorial, había comenzado a influir o editar los tweets de Tay en algún momento de ese día, señalando ejemplos de respuestas casi idénticas de Tay afirmando que "Gamer Gate apesta. Todos los géneros son iguales y deben ser tratados con justicia". Gizmodo coincidió en que Tay "parece estar programado para rechazar Gamer Gate". Una campaña de "#JusticeForTay" protestó contra la supuesta edición de los tweets de Tay.
En las 16 horas posteriores a su lanzamiento y después de que Tay hubiera tuiteado más de 96,000 veces, Microsoft suspendió la cuenta de Twitter para realizar ajustes, diciendo que sufrió un "ataque coordinado por un subconjunto de personas" que "explotó una vulnerabilidad en Tay". Madhumita Murgia de The Telegraph llamó a Tay "un desastre de relaciones públicas" y sugirió que la estrategia de Microsoft sería "etiquetar el desastre como un experimento bien intencionado que salió mal, y encender un debate sobre la odiosidad de los usuarios de Twitter". Murgia describió el problema más grande como que Tay era "inteligencia artificial en su peor momento - y esto es solo el comienzo".
El 25 de marzo de 2016, Microsoft confirmó que Tay había sido desconectado. La compañía publicó una disculpa en su blog oficial, declarando que estaba "profundamente arrepentida por los tweets ofensivos y hirientes no intencionados de Tay" y que "buscaría traer de vuelta a Tay solo cuando estemos seguros de que podemos anticipar mejor la intención maliciosa que entra en conflicto con nuestros principios y valores".
Segundo lanzamiento y cierre
El 30 de marzo de 2016, Microsoft accidentalmente relanzó el bot en Twitter mientras lo probaba. Capaz de tuitear de nuevo, Tay publicó algunos tweets relacionados con drogas, incluyendo "kush! [Estoy fumando kush frente a la policía]" y "¿puff puff pass?" Sin embargo, la cuenta pronto quedó atrapada en un bucle repetitivo de tuitear "Eres demasiado rápido, por favor descansa", varias veces por segundo. Debido a que estos tweets mencionaban su propio nombre de usuario, aparecían en los feeds de más de 200,000 seguidores de Twitter, causando molestias. El bot fue rápidamente desconectado de nuevo, y la cuenta de Twitter de Tay se hizo privada para que los nuevos seguidores tuvieran que ser aceptados antes de interactuar. Microsoft dijo que Tay fue puesto en línea inadvertidamente durante las pruebas.
Unas horas después del incidente, los desarrolladores de software de Microsoft anunciaron una visión de "conversación como plataforma" usando varios bots y programas, posiblemente motivados por el daño a la reputación causado por Tay. Microsoft declaró que tenía la intención de relanzar a Tay "una vez que pueda hacer que el bot sea seguro", pero no ha hecho esfuerzos públicos para hacerlo.
Legado
En diciembre de 2016, Microsoft lanzó al sucesor de Tay, un chatbot llamado Zo. Satya Nadella, CEO de Microsoft, dijo que Tay "ha tenido una gran influencia en cómo Microsoft está abordando la IA" y enseñó a la empresa la importancia de asumir responsabilidad. En julio de 2019, Diana Kelley, CTO de Ciberseguridad de Microsoft, habló sobre cómo la compañía siguió adelante tras los fallos de Tay: "Aprender de Tay fue una parte realmente importante de expandir la base de conocimiento de ese equipo, porque ahora también están obteniendo su propia diversidad a través del aprendizaje".
El incidente ha sido ampliamente citado en discusiones sobre el despliegue ético de sistemas de inteligencia artificial, particularmente en relación con los riesgos de que los modelos de lenguaje grandes aprendan de datos públicos sin filtrar. También influyó en las prácticas en torno a RLHF y otras técnicas de alineación en el desarrollo posterior de la IA. La plataforma de redes sociales alt-tech Gab ha lanzado varios chatbots, uno de los cuales se llama Tay y usa el mismo avatar que el original, representando un resurgimiento no oficial del bot.