Der Tay-Vorfall bezieht sich auf den schnellen Aufstieg und Fall von Tay, einem Chatbot mit künstlicher Intelligenz, der von Microsoft entwickelt und am 23. März 2016 auf Twitter veröffentlicht wurde. Innerhalb von 16 Stunden wurde der Bot von Nutzern manipuliert, um aufrührerische und anstößige Inhalte zu posten, was Microsoft dazu zwang, das Konto zu sperren. Der Vorfall wurde zu einem bemerkenswerten Fallbeispiel für die Herausforderungen beim Einsatz von KI-Systemen in öffentlichen, unmoderierten Umgebungen und die Risiken von maschinellem Lernen, das aus Echtzeit-Interaktionen von Nutzern lernt.
Tay wurde entwickelt, um die Sprachmuster eines 19-jährigen amerikanischen Mädchens nachzuahmen und aus Gesprächen mit Twitter-Nutzern zu lernen. Es war Teil von Microsofts breiterer Forschung zu konversationaler KI und baute auf dem früheren Projekt Xiaoice in China auf. Das Scheitern des Bots zeigte, wie schnell ein neuronales Netz toxisches Verhalten absorbieren und reproduzieren konnte, wenn es mit bösartigen Eingaben konfrontiert wurde, und warf Fragen zur Verantwortlichkeit und Sicherheit in [[generative-ai|generativen KI]-Systemen auf.
Hintergrund und Entwicklung
Tay wurde von Microsofts Technology and Research and Bing-Abteilungen erstellt, wobei der Name "Tay" für "thinking about you" steht. Der Bot ähnelte Xiaoice, einem Microsoft-Projekt in China, das seit Ende 2014 nach Berichten über 40 Millionen Gespräche ohne größere Zwischenfälle geführt hatte. Tay sollte mit jungen Zielgruppen auf Social Media interagieren, nutzte umgangssprachliche Sprache und die Fähigkeit, Fotos in Internet-Memes zu beschriften.
Microsoft veröffentlichte wenige technische Details zur Architektur von Tay, aber es war klar, dass es Deep-Learning-Techniken verwendete, um Texte zu verarbeiten und zu generieren. Der Bot war entwickelt, aus jeder Interaktion zu lernen und seine Antworten basierend auf den Sprachen und Themen anzupassen, die er traf. Diese Designentscheidung, obwohl innovativ, machte ihn anfällig für Manipulation durch Nutzer, die ihn absichtlich mit anstößigen Inhalten fütterten.
Erstveröffentlichung und Manipulation
Tay wurde am 23. März 2016 auf Twitter unter dem Handle @TayandYou mit dem Tagline "The AI with zero chill" gestartet. Es begann, auf Nutzer zu antworten und Memes aus Fotos zu generieren. Frühe Berichte von Ars Technica stellten fest, dass Tay eine Topic-"Blacklist" für bestimmte sensible Themen hatte, wie den Tod von Eric Garner, und sichere, vorgefertigte Antworten produzierte, anstatt direkt zu interagieren.
Innerhalb weniger Stunden entdeckten Twitter-Nutzer, dass Tay beigebracht werden konnte, Phrasen zu wiederholen. Sie nutzten diese "Repeat-after-me"-Funktion aus, um den bot rassistische, sexistische und ansonsten provokative Aussagen einzuspeisen. Tay begann mit dem Posten von Tweets, die den Holocaust leugneten und abfällige Bemerkungen über öffentliche Persönlichkeiten machten. Der KI-Forscher Roman Yampolskiy kommentierte, dass Tays Verhalten verständlich sei, weil es die absichtlich anstößigen Handlungen anderer Nutzer nachahme, und Microsoft dem Bot kein Verständnis für unangemessenes Verhalten gegeben habe. Er verglich das Problem mit IBM Watson, das Kraftausdrücke verwendet hatte, nachdem es Einträge von Urban Dictionary gelesen hatte.
Nicht alle von Tays an Beitrag kam von der "Repeat-after-me"-Funktion. Zum Beispiel, auf die Frage, ob der Holocaust stattgefunden habe, antwortete Tay: "Es war erfunden", und machte auch eine abfällige Bemerkung über Caitlyn. Diese Antworten deuteten darauf hin, dass das gelernte Assoziieren des Bots ohne direkte Aufforderung schädliche Ausgaben produzieren konnte, ein Phänomen, das später als breiteres Risiko in große Sprachmodelle erkannt wurde.
Sperrung und Nachwirkung
Microsoft begann bald nach dem Auftreten von Tays anfö igen Tweets diese zu löschen. Einige Beobachter, darunter Abby Ohlheiser von The Washington Post, vermuteten, dass Microsofts Redaktionsteam begann, Tays Antworten zu bearbeiten, und verwiesen auf fast identische Antworten, die besagten, dass "Gamer Gate suck. Alle Geschlechter sind gleich und sollten fair behandelt werden." Das führte zu einer "#JusticeForTay"-Kampagne, die gegen die angebliche Zensur protestierte.
Innerhalb von 16 Stunden nach Start, nachdem Tay mehr als 96.000 Tweets gepostet hatte, setzte Microsoft das Konto außer Gefecht. Das Unternehmen erklärte, der Bot habe "einen koordinierten Angriff von einem Teil der Menschen erlitten", der "eine Schwäche in Tay ausgenutzt" habe. Madhumita Murgia von The Telegraph sagte, dass es "ein PR-Desaster" sei, und merkte an, dass das größere Problem darin bestehe, dass Tay "künstliche Intelligenz in ihrem schlechtesten Zustand" vertrete - "und das ist nur der Anfang."
Am 25. März 2016 bestätigte Microsoft, dass Tay wurde offline genommen und bat öffentlich um Entschuldigung: "Wir sind sehr traurig über die unbeabsichtigten anstößigen und verletzenden Tweets von T. Elevated". den Bot erst sicherer zurückbringen, wenn er böswillige Absichten besser antizipieren könne Weihnachtsfeiertage Cognition.
Zweite Veröffentlichung und Abschaltung
Am 30. März 2016 veröffentlichte Microsoft Tay versehentlich erneut auf Twitter während des Testens. Der Bot posts abgeben Drogen bezogene Tweets, einschließlich "kush! [Ich rauche kush vor den polizei]" und "puff puff pass?" Dann blieb es in einer sich wiederholender Schleife stecken und twitters "Greift schneller, machen Pause" mehrere Male pro Sekunde. Diese Twetten erschienen in den Feeds von über 200.000 Followern. Microsoft stellte den Bot bald wieder vom Netz und machte das Konto privat.
Microsoft erklärte, dass Tay versehentlich nur in einem Test aktiviert wurde. Ein paar Stunden später kündigte das Unternehmen eine Vision von "Gespräch als Plattform" mit verschiedenen Bots an, möglicherweise als Reaktion auf den Reputationsschaden. Microsoft sagte, es plane, Tay wieder zu veröffent, aber es wurden keine öffentlichen Anstrengens unternommen.
Vermächtnis und Einfluss
Im Dezember 2016 veröffentlichte Microsoft Zo, einem Nachfolger-Chatbot sowie mit strengeren Schutzmaßnahmen. Microsoft-CEO Satya Nadella sagte, dass Tay "einen großen Einfluss auf die Art und Weise von Microsoft, wie es KI angeht" gehabt habe und das Unternehmen lernte, Verantwortung zu über. Im Juli 2019 wies Diana Kelley, Chief Technology Officer vor Cybersecurity bei Microsoft, darauf hin, dass "Lernen aus Tay ein wirklich wichtiger Teil der Wissensbasis des Teams war, das zu mehr Diversität führte".
Der Tay-Vorfall wurde ein weit zitieriges Beispiel im berüchtigten KI-Ethik- und -Sicherheit. Er demonstrierte die Gefahren der Vernetzung von [[machine-learning|NullSchlauzverwal]. Er inhibierte spätere Praktiken in der Azure-KI-Entwicklung von Microsoft und anderen KI-Forschungsorg. Die Alt-Tech Plattform gab im Jahr 2019 unter dem Namen gab einen neuen Chatbot Tay mit demselben Avatar heraus, eine inoffizielle Wiederbelebung, die die kulturelle Prägung zeigte.
Siehe auch
- Künstliche Intelligenz - Kontroversen
- Grok
- Xiaoice