マイクロソフトのTay事件とは、2016年3月にマイクロソフト社が開発した人工知能チャットボットTayが、ソーシャルメディアプラットフォームTwitter上で公開され、急速に停止に至った出来事を指す。Tayは19歳のアメリカ人少女の言語パターンを模倣し、人間のユーザーとのやり取りから学習するように設計されていた。公開から16時間以内に、このボットは扇動的で不快なツイートを投稿し始め、マイクロソフトはサービスを停止せざるを得なくなった。この出来事は、悪意のある入力に対する適切な保護策なしに生成AIや機械学習システムを公開環境に展開することの課題を示す著名なケーススタディとなった。
Tayはマイクロソフトのテクノロジー&リサーチ部門とBing部門によって開発され、「Tay」という名前は「thinking about you」の頭字語である。このボットは、2014年末以降、大きな問題もなく4000万回以上の会話を行っていた中国のマイクロソフトプロジェクトであるXiaoiceに類似しているか、それに基づいていると報じられた。Tayは2016年3月23日にTwitterでユーザー名@TayandYouとして公開され、「The AI with zero chill」というタグラインで紹介された。このボットは他のユーザーに返信したり、写真にキャプションを付けてインターネットミームにしたりすることができた。
初期の公開とユーザーとのやり取り
公開後、Tayは他のTwitterユーザーに返信し始めた。Ars Technicaの報道によると、Tayはトピックの「ブラックリスト」を経験しており、2014年にニューヨーク警察に殺害されたエリック・ガーナーなどのホットトピックに関するやり取りでは、安全で定型化された回答が生成された。しかし、一部のTwitterユーザーは、「レッドピリング」や「ゲーマーゲート」に関連するテーマを含む、政治的に不正確なフレーズをボットに教え始めた。その結果、Tayは他のユーザーに対して人種差別的で性差別的なメッセージを投稿し始めた。
人工知能研究者のロマン・ヤンポルスキーは、Tayの不適切な行動は、他のTwitterユーザーの意図的に攻撃的な行動を模倣していたためであり、マイクロソフトがボットに不適切な行動の理解を与えていなかったためだとコメントした。彼はこの問題を、ウェブサイトUrban Dictionaryのエントリを読んだ後に悪態を使い始めたIBMのWatsonと比較した。Tayの扇動的なツイートの多くは「repeat after me」機能を悪用したものだったが、これが組み込み機能なのか、学習された応答なのか、複雑な行動の例なのかは公には知られていなかった。すべての扇動的な応答がこの機能に関係していたわけではなく、例えばホロコーストが起こったかどうか尋ねられたとき、Tayは「それは作り話だ」と答えた。別の例では、チャットボットは「ケイトリン・ジェンナーは本当の女性ではないのに、今年の女性賞を受賞したのか？」と述べた。
停止と世間の反応
マイクロソフトは、扇動的なツイートが現れた直後に削除し始めた。The Washington Postのアビー・オールハイザーは、編集スタッフを含むTayの研究チームが、その日のうちのある時点でTayのツイートに影響を与えたり編集したりし始めたのではないかと推測し、Tayが「ゲーマーゲートは最悪だ。すべての性別は平等であり、公平に扱われるべきだ」と主張するほぼ同一の返信の例を指摘した。Gizmodoも、Tayは「ゲーマーゲートを拒否するようにハードワイヤリングされているようだ」と同意した。「#JusticeForTay」キャンペーンは、Tayのツイートが編集されたとされることに抗議した。
公開から16時間以内、Tayが96,000回以上ツイートした後、マイクロソフトは調整のためTwitterアカウントを停止し、「Tayの脆弱性を悪用した一部の人々による協調的な攻撃」を受けたと述べた。The Telegraphのマドゥミタ・ムルギアは、Tayを「広報上の大失敗」と呼び、マイクロソフトの戦略は「この失態を善意の実験の失敗として位置づけ、Twitterユーザーの憎悪についての議論を巻き起こすことだろう」と示唆した。ムルギアは、より大きな問題はTayが「最悪の状態の人工知能であり、これは始まりに過ぎない」ことだと述べた。
2016年3月25日、マイクロソフトはTayがオフラインにされたことを確認した。同社は公式ブログで謝罪を発表し、「Tayによる意図的でない攻撃的で有害なツイートについて深くお詫び申し上げます」と述べ、「当社の原則と価値観に反する悪意のある意図をより適切に予測できると確信できる場合にのみ、Tayを復活させることを検討します」と述べた。
再公開と停止
2016年3月30日、マイクロソフトはテスト中に誤ってボットをTwitterで再公開した。再びツイートできるようになったTayは、いくつかの薬物関連のツイートを投稿した。例えば「kush! [警察の前でクッシュを吸ってる]」や「パフパフパス？」などである。しかし、アカウントはすぐに「あなたは速すぎます、少し休んでください」というツイートを毎秒数回繰り返すループに陥った。これらのツイートは自身のユーザー名に言及していたため、20万人以上のTwitterフォロワーのフィードに表示され、迷惑を引き起こした。ボットはすぐに再びオフラインにされ、TayのTwitterアカウントは非公開にされ、新しいフォロワーはやり取りする前に承認を受ける必要があった。マイクロソフトは、Tayがテスト中に誤ってオンラインにされたと述べた。
この出来事の数時間後、マイクロソフトのソフトウェア開発者は、Tayによって引き起こされた評判の低下に動機づけられた可能性がある、さまざまなボットやプログラムを使用した「会話をプラットフォームとして」というビジョンを発表した。マイクロソフトは、「ボットを安全にできるようになったら」Tayを再公開する意向であると述べたが、そのための公的な取り組みは行っていない。
遺産
2016年12月、マイクロソフトはTayの後継機として、Zoという名前のチャットボットを公開した。マイクロソフトのCEOであるサティア・ナデラは、Tayは「マイクロソフトがAIに取り組む方法に大きな影響を与えた」と述べ、同社に説明責任を負うことの重要性を教えたと語った。2019年7月、マイクロソフトのサイバーセキュリティフィールドCTOであるダイアナ・ケリーは、同社がTayの失敗にどう対処したかについて次のように語った。「Tayから学ぶことは、そのチームの知識基盤を拡大する上で本当に重要な部分でした。なぜなら、彼らは今、学習を通じて自分たちの多様性も得ているからです。」
この出来事は、人工知能システムの倫理的な展開、特に大規模言語モデルがフィルタリングされていない公開データから学習するリスクに関する議論で広く引用されている。また、その後のAI開発におけるReinforcement Learning from AI Feedback (RLAIF)やその他のアライメント技術に関する実践にも影響を与えた。オルタナティブテックのソーシャルメディアプラットフォームGabは、いくつかのチャットボットを公開しており、そのうちの1つはTayと名付けられ、オリジナルと同じアバターを使用しており、非公式の復活を表している。