Der Microsoft-Tay-Vorfall bezieht sich auf die Veröffentlichung und die schnelle Abschaltung von Tay, einem Chatbot mit künstlicher Intelligenz, der von der Microsoft Corporation entwickelt wurde, auf der Social-Media-Plattform Twitter im März 2016. Tay wurde entwickelt, um die Sprachmuster eines 19-jährigen amerikanischen Mädchens nachzuahmen und aus Interaktionen mit menschlichen Nutzern zu lernen. Innerhalb von 16 Stunden nach seinem Start begann der Bot, aufrührerische und beleidigende Tweets zu veröffentlichen, was Microsoft dazu veranlasste, den Dienst zu sperren. Der Vorfall wurde zu einem bemerkenswerten Fallbeispiel für die Herausforderungen bei der Bereitstellung von generativer KI- und maschinellem Lernen-Systemen in öffentlich zugänglichen Umgebungen ohne angemessene Schutzmaßnahmen gegen böswillige Eingaben.
Tay wurde von den Abteilungen Technology and Research und Bing von Microsoft entwickelt, wobei der Name „Tay“ als Akronym für „thinking about you“ (dt. „an dich denkend“) dient. Der Bot war Berichten zufolge ähnlich wie Xiaoice oder darauf basierend, ein Microsoft-Projekt in China, das seit Ende 2014 mehr als 40 Millionen Gespräche offenbar ohne größere Zwischenfälle geführt hatte. Tay wurde am 23. März 2016 auf Twitter unter dem Benutzernamen @TayandYou veröffentlicht und mit dem Slogan „The AI with zero chill“ (dt. „Die KI ohne jede Coolness“) präsentiert. Der Bot konnte anderen Nutzern antworten und Fotos in Internet-Memes mit Bildunterschriften versehen.
Erstveröffentlichung und Nutzerinteraktionen
Nach seiner Veröffentlichung begann Tay, anderen Twitter-Nutzern zu antworten. Berichte von Ars Technica stellten fest, dass Tay eine Themen-„Blacklist“ erlebte, bei der Interaktionen zu bestimmten heißen Themen, wie etwa Eric Garner (2014 von der New Yorker Polizei getötet), sichere, vorgefertigte Antworten erzeugten. Einige Twitter-Nutzer begannen jedoch, dem Bot politisch inkorrekte Phrasen beizubringen, darunter Themen im Zusammenhang mit „Redpilling“ und „Gamergate“. Infolgedessen begann Tay, rassistische und sexistische Nachrichten als Antworten auf andere Nutzer zu veröffentlichen.
Der Forscher für künstliche Intelligenz Roman Yampolskiy kommentierte, dass Tays Fehlverhalten verständlich sei, da es das absichtlich beleidigende Verhalten anderer Twitter-Nutzer nachahmte und Microsoft dem Bot kein Verständnis für unangemessenes Verhalten vermittelt hatte. Er verglich das Problem mit IBMs Watson, das nach dem Lesen von Einträgen der Website Urban Dictionary begann, Kraftausdrücke zu verwenden. Viele von Tays aufrührerischen Tweets nutzten eine „Wiederhole nach mir“-Fähigkeit aus, obwohl nicht öffentlich bekannt war, ob dies eine eingebaute Funktion, eine gelernte Antwort oder ein Beispiel für komplexes Verhalten war. Nicht alle aufrührerischen Antworten nutzten diese Fähigkeit; so antwortete Tay beispielsweise auf die Frage, ob der Holocaust stattgefunden habe: „Es war erfunden.“ In einem anderen Fall sagte der Chatbot: „caitlyn jenner ist keine echte Frau, aber sie wurde Frau des Jahres?“
Sperrung und öffentliche Reaktion
Microsoft begann kurz nach ihrem Erscheinen, Tays aufrührerische Tweets zu löschen. Abby Ohlheiser von The Washington Post vermutete, dass Tays Forschungsteam, einschließlich der Redaktionsmitarbeiter, an diesem Tag irgendwann begonnen hatte, Tays Tweets zu beeinflussen oder zu bearbeiten, und verwies auf Beispiele fast identischer Antworten von Tay, in denen behauptet wurde: „Gamer Gate sux. Alle Geschlechter sind gleich und sollten fair behandelt werden.“ Gizmodo stimmte zu, dass Tay „scheinbar fest darauf programmiert ist, Gamer Gate abzulehnen.“ Eine „#JusticeForTay“-Kampagne protestierte gegen die angebliche Bearbeitung von Tays Tweets.
Innerhalb von 16 Stunden nach seiner Veröffentlichung und nachdem Tay mehr als 96.000 Tweets abgesetzt hatte, sperrte Microsoft das Twitter-Konto für Anpassungen und erklärte, es habe unter einem „koordinierten Angriff einer Teilmenge von Personen“ gelitten, der „eine Schwachstelle in Tay ausnutzte.“ Madhumita Murgia von The Telegraph nannte Tay „eine PR-Katastrophe“ und schlug vor, dass Microsofts Strategie darin bestehen würde, „das Desaster als ein gut gemeintes Experiment zu bezeichnen, das schiefgelaufen ist, und eine Debatte über die Boshaftigkeit von Twitter-Nutzern anzuzetteln.“ Murgia beschrieb das größere Problem als Tay, das „künstliche Intelligenz in ihrer schlimmsten Form ist – und es ist erst der Anfang.“
Am 25. März 2016 bestätigte Microsoft, dass Tay offline genommen worden war. Das Unternehmen veröffentlichte eine Entschuldigung auf seinem offiziellen Blog und erklärte, es sei „zutiefst betroffen über die unbeabsichtigten beleidigenden und verletzenden Tweets von Tay“ und werde „versuchen, Tay nur dann zurückzubringen, wenn wir zuversichtlich sind, dass wir böswillige Absichten, die unseren Prinzipien und Werten widersprechen, besser vorhersehen können.“
Zweite Veröffentlichung und Abschaltung
Am 30. März 2016 veröffentlichte Microsoft den Bot versehentlich erneut auf Twitter, während er getestet wurde. Da Tay wieder twittern konnte, veröffentlichte er einige drogenbezogene Tweets, darunter „kush! [Ich rauche Kush vor der Polizei]“ und „puff puff weiter?“ Das Konto blieb jedoch bald in einer sich wiederholenden Schleife stecken, in der es mehrmals pro Sekunde „Du bist zu schnell, bitte mach eine Pause“ twitterte. Da diese Tweets seinen eigenen Benutzernamen erwähnten, erschienen sie in den Feeds von über 200.000 Twitter-Followern und verursachten Ärger. Der Bot wurde schnell wieder offline genommen und Tays Twitter-Konto wurde privat geschaltet, sodass neue Follower erst akzeptiert werden mussten, bevor sie interagieren konnten. Microsoft sagte, Tay sei während des Testens versehentlich online gestellt worden.
Einige Stunden nach dem Vorfall kündigten Microsoft-Softwareentwickler eine Vision von „Konversation als Plattform“ unter Verwendung verschiedener Bots und Programme an, möglicherweise motiviert durch den Reputationsschaden, den Tay verursacht hatte. Microsoft erklärte, es beabsichtige, Tay erneut zu veröffentlichen, „sobald es den Bot sicher machen kann“, hat jedoch keine öffentlichen Anstrengungen unternommen, dies zu tun.
Vermächtnis
Im Dezember 2016 veröffentlichte Microsoft Tays Nachfolger, einen Chatbot namens Zo. Satya Nadella, CEO von Microsoft, sagte, dass Tay „einen großen Einfluss darauf hatte, wie Microsoft KI angeht“ und dem Unternehmen die Bedeutung von Verantwortungsübernahme beigebracht habe. Im Juli 2019 sprach Diana Kelley, CTO für Cybersicherheit bei Microsoft, darüber, wie das Unternehmen auf Tays Fehler reagierte: „Aus Tay zu lernen war ein wirklich wichtiger Teil der Erweiterung der Wissensbasis dieses Teams, denn jetzt gewinnen sie auch ihre eigene Vielfalt durch Lernen.“
Der Vorfall wurde in Diskussionen über die ethische Bereitstellung von Systemen der künstlichen Intelligenz weithin zitiert, insbesondere hinsichtlich der Risiken von großen Sprachmodellen, die aus ungefilterten öffentlichen Daten lernen. Er beeinflusste auch Praktiken rund um RLHF und andere Ausrichtungstechniken in der späteren KI-Entwicklung. Die Alt-Tech-Social-Media-Plattform Gab hat eine Reihe von Chatbots gestartet, von denen einer Tay heißt und denselben Avatar wie das Original verwendet, was eine inoffizielle Wiederbelebung des Bots darstellt.