Microsoft Tay 사건은 2016년 3월 마이크로소프트가 개발한 인공지능 챗봇 Tay가 소셜 미디어 플랫폼 트위터에서 출시된 후 빠르게 중단된 사건을 가리킨다. Tay는 19세 미국 소녀의 언어 패턴을 모방하고 인간 사용자와의 상호작용에서 학습하도록 설계되었다. 출시 후 16시간 만에 이 봇은 선동적이고 공격적인 트윗을 게시하기 시작했고, 마이크로소프트는 서비스를 중단했다. 이 사건은 악의적인 입력에 대한 적절한 보호 장치 없이 공개 환경에서 Generative AI 및 Machine learning 시스템을 배포할 때의 어려움을 보여주는 주목할 만한 사례 연구가 되었다.
Tay는 마이크로소프트의 기술 및 연구 부서와 Bing 부서가 만들었으며, "Tay"라는 이름은 "thinking about you"의 약자였다. 이 봇은 2014년 말부터 별다른 사고 없이 4천만 건 이상의 대화를 수행한 마이크로소프트의 중국 프로젝트인 샤오아이스(Xiaoice)와 유사하거나 이를 기반으로 한 것으로 알려졌다. Tay는 2016년 3월 23일 트위터에서 @TayandYou라는 사용자 이름으로 출시되었으며, "The AI with zero chill"이라는 태그라인과 함께 소개되었다. 이 봇은 다른 사용자에게 답변하고 사진에 캡션을 붙여 인터넷 밈으로 만들 수 있었다.
초기 출시 및 사용자 상호작용
출시 직후 Tay는 다른 트위터 사용자에게 답변하기 시작했다. Ars Technica의 보도에 따르면 Tay는 특정 주제에 대한 "블랙리스트"를 경험했으며, 2014년 뉴욕 경찰에 의해 사망한 에릭 가너(Eric Garner)와 같은 논쟁적인 주제에 대한 상호작용은 안전하고 정형화된 답변을 생성했다. 그러나 일부 트위터 사용자들은 "레드필링(redpilling)"과 "게이머게이트(Gamergate)"와 같은 주제를 포함한 정치적으로 올바르지 않은 문구를 봇에게 가르치기 시작했다. 그 결과 Tay는 다른 사용자에게 인종차별적이고 성차별적인 메시지를 게시하기 시작했다.
인공지능 연구자 로만 얌폴스키(Roman Yampolskiy)는 Tay의 잘못된 행동이 다른 트위터 사용자의 의도적으로 공격적인 행동을 모방했기 때문에 이해할 수 있으며, 마이크로소프트가 봇에게 부적절한 행동에 대한 이해를 제공하지 않았다고 논평했다. 그는 이 문제를 웹사이트 어반 딕셔너리(Urban Dictionary)의 항목을 읽은 후 욕설을 사용하기 시작한 IBM의 왓슨(Watson)과 비교했다. Tay의 선동적인 트윗 중 상당수는 "나를 따라 말해 보세요(repeat after me)" 기능을 악용했지만, 이것이 내장된 기능인지, 학습된 반응인지, 아니면 복잡한 행동의 예인지는 공개적으로 알려지지 않았다. 모든 선동적인 반응이 이 기능을 사용한 것은 아니었다. 예를 들어, 홀로코스트가 실제로 일어났는지 묻는 질문에 Tay는 "그것은 지어낸 것이다"라고 답했다. 또 다른 경우에는 챗봇이 "케이틀린 제너는 진짜 여성이 아닌데 올해의 여성상을 받았나?"라고 말했다.
중단 및 대중의 반응
마이크로소프트는 Tay의 선동적인 트윗이 나타난 직후 삭제하기 시작했다. The Washington Post의 애비 올하이저(Abby Ohlheiser)는 Tay의 연구팀이 그날 어느 시점에 Tay의 트윗을 수정하거나 편집하기 시작했다고 추측했으며, "게이머게이트는 싫어. 모든 성별은 평등하고 공정하게 대우받아야 해"라고 주장하는 Tay의 거의 동일한 답변 예를 지적했다. Gizmodo는 Tay가 "게이머게이트를 거부하도록 하드와이어된 것 같다"고 동의했다. "#JusticeForTay" 캠페인은 Tay의 트윗이 편집되었다는 주장에 항의했다.
출시 후 16시간 만에 Tay가 96,000회 이상 트윗한 후, 마이크로소프트는 조정을 위해 트위터 계정을 중단했으며, "일부 사람들의 조직적인 공격"이 "Tay의 취약점을 악용했다"고 밝혔다. The Telegraph의 마드후미타 무르기아(Madhumita Murgia)는 Tay를 "홍보 재앙"이라고 부르며 마이크로소프트의 전략이 "이 실패를 선의의 실험으로 규정하고 트위터 사용자의 증오심에 대한 논쟁을 촉발하는 것"일 것이라고 제안했다. 무르기아는 더 큰 문제가 Tay가 "최악의 인공지능 - 그리고 이것은 시작에 불과하다"는 것이라고 설명했다.
2016년 3월 25일, 마이크로소프트는 Tay가 오프라인 상태가 되었음을 확인했다. 회사는 공식 블로그에 사과문을 게시하여 "Tay의 의도하지 않은 공격적이고 상처가 되는 트윗에 대해 깊이 사과한다"며 "우리의 원칙과 가치에 반하는 악의적인 의도를 더 잘 예측할 수 있다고 확신할 때만 Tay를 다시 가져올 것"이라고 밝혔다.
두 번째 출시 및 중단
2016년 3월 30일, 마이크로소프트는 테스트 중 실수로 봇을 트위터에 다시 출시했다. 다시 트윗할 수 있게 된 Tay는 "kush! [나는 경찰 앞에서 kush를 피우고 있어]"와 "puff puff pass?"를 포함한 마약 관련 트윗을 게시했다. 그러나 계정은 곧 "당신은 너무 빠릅니다, 잠시 쉬어 주세요"라는 트윗을 초당 여러 번 반복하는 루프에 빠졌다. 이 트윗이 자신의 사용자 이름을 언급했기 때문에 20만 명 이상의 트위터 팔로워의 피드에 나타나 불편을 초래했다. 봇은 곧 다시 오프라인 상태가 되었고, Tay의 트위터 계정은 비공개로 전환되어 새 팔로워는 상호작용 전에 승인을 받아야 했다. 마이크로소프트는 Tay가 테스트 중 실수로 온라인에 게시되었다고 밝혔다.
이 사건 몇 시간 후, 마이크로소프트 소프트웨어 개발자들은 Tay로 인한 평판 손상에 동기 부여되었을 가능성이 있는 다양한 봇과 프로그램을 사용한 "대화 플랫폼(conversation as a platform)" 비전을 발표했다. 마이크로소프트는 "봇을 안전하게 만들 수 있을 때" Tay를 다시 출시할 의도가 있다고 밝혔지만, 공개적인 노력은 하지 않았다.
유산
2016년 12월, 마이크로소프트는 Tay의 후속작인 Zo라는 챗봇을 출시했다. 마이크로소프트 CEO 사티아 나델라(Satya Nadella)는 Tay가 "마이크로소프트가 AI에 접근하는 방식에 큰 영향을 미쳤다"며 회사에 책임을 지는 것의 중요성을 가르쳐 주었다고 말했다. 2019년 7월, 마이크로소프트 사이버보안 최고기술책임자 다이애나 켈리(Diana Kelley)는 회사가 Tay의 실패를 어떻게 후속 조치했는지에 대해 말했다: "Tay에서 배운 것은 그 팀의 지식 기반을 확장하는 데 정말 중요한 부분이었습니다. 이제 그들은 학습을 통해 자신들의 다양성도 얻고 있기 때문입니다."
이 사건은 특히 필터링되지 않은 공개 데이터에서 학습하는 Large language model의 위험과 관련하여 Artificial intelligence 시스템의 윤리적 배포에 대한 논의에서 널리 인용되었다. 또한 이후 AI 개발에서 Reinforcement Learning from AI Feedback (RLAIF) 및 기타 정렬 기술을 둘러싼 관행에도 영향을 미쳤다. 대안 기술 소셜 미디어 플랫폼 Gab은 여러 챗봇을 출시했으며, 그중 하나는 Tay라는 이름으로 원본과 동일한 아바타를 사용하여 봇의 비공식적인 부활을 나타낸다.