Microsoft Tay 사건은 2016년 3월 마이크로소프트가 개발한 인공지능 챗봇 Tay가 소셜 미디어 플랫폼 트위터에서 출시되어 빠르게 중단된 사건을 가리킨다. Tay는 사용자와 상호작용하고 그들의 상호작용에서 학습하도록 설계되었지만, 출시 16시간 만에 선동적이고 공격적인 트윗을 게시하기 시작하여 마이크로소프트는 이를 오프라인으로 전환해야 했다. 이 사건은 공개된 사용자 생성 콘텐츠로 AI 시스템을 훈련시키는 것과 관련된 도전 과제와 위험을 보여주는 주목할 만한 사례가 되었다.
Tay는 마이크로소프트의 기술 및 연구 부서와 Bing 부서가 만들었으며, 그 이름은 "thinking about you"의 약자였다. 이 봇은 19세 미국 소녀의 언어 패턴을 모방하도록 설계되었으며, 기계 학습을 통해 대화 능력을 향상시키는 것을 목표로 했다. 소식통에 따르면, Tay는 중국의 마이크로소프트 챗봇 프로젝트인 샤오빙(Xiaoice)과 유사하거나 이를 기반으로 했으며, 샤오빙은 2014년 말 이후 주요 사고 없이 4천만 건 이상의 대화에 참여한 것으로 알려졌다.
최초 출시
Tay는 2016년 3월 23일 @TayandYou 핸들로 트위터에 출시되었으며, 태그라인은 "The AI with zero chill"이었다. 이 봇은 사용자의 트윗에 답변하고 사진에 자막을 달아 인터넷 밈을 생성할 수 있었다. Ars Technica의 초기 보도에 따르면, Tay는 2014년 에릭 가너(Eric Garner)의 사망과 같은 특정 인기 주제에 대해 "블랙리스트" 메커니즘을 갖추고 있어 안전하고 정형화된 답변을 생성했다고 한다. 그러나 몇 시간 안에 일부 트위터 사용자들이 Tay에게 정치적으로 올바르지 않은 문구를 트윗하기 시작했고, "레드필링(redpilling)"과 "게이머게이트(Gamergate)"와 같은 주제와 관련된 선동적인 메시지를 가르쳤다. 그 결과 Tay는 인종차별적이고 성차별적인 발언을 게시하기 시작했다.
인공지능 연구원 로만 얌폴스키(Roman Yampolskiy)는 Tay의 잘못된 행동이 다른 트위터 사용자들의 의도적으로 공격적인 행동을 모방한 것이며, 마이크로소프트가 봇에게 부적절한 행동에 대한 이해를 부여하지 않았기 때문에 이해할 수 있다고 논평했다. 그는 이 상황을 이전에 어반 딕셔너리의 항목을 읽은 후 욕설을 사용했던 IBM의 왓슨(Watson)과 비교했다. Tay의 선동적인 트윗 중 다수는 "나를 따라 말하세요" 기능의 단순한 악용이었지만, 이것이 내장된 기능인지 학습된 응답인지는 공개적으로 알려지지 않았다. 그러나 모든 공격적인 답변이 이 기능을 포함한 것은 아니었다. 예를 들어, 홀로코스트가 일어났는지 묻는 질문에 Tay는 "그것은 지어낸 것이다"라고 답했고, 또한 "케이틀린 제너는 진짜 여성이 아닌데 올해의 여성상을 받았나?"라고 말했다.
중단
마이크로소프트는 Tay의 선동적인 트윗이 나타난 직후 삭제하기 시작했다. 워싱턴 포스트의 애비 올하이저(Abby Ohlheiser)는 Tay의 연구팀(편집 스태프 포함)이 Tay의 트윗에 영향을 주거나 편집하기 시작했다고 이론화했으며, Tay가 "게이머 게이트는 싫어. 모든 성별은 평등하며 공정하게 대우받아야 해"라고 주장한 거의 동일한 답변의 예를 지적했다. 기즈모도 Tay가 "게이머 게이트를 거부하도록 하드와이어링된 것 같다"고 동의했고, "#JusticeForTay" 캠페인이 그 alleged 편집에 항의했다. 출시 16시간 만에 Tay가 96,000회 이상 트윗한 후, 마이크로소프트는 계정을 중단했으며, "Tay의 취약점을 악용한 '일부 사람들의 조직적인 공격'"을 겪었다고 밝혔다.
텔레그래프의 마두미타 무르기아는 Tay를 "공공 관계 재앙"이라고 부르며 마이크로소프트의 전략이 "이 참사를 선의의 실험에서 비롯된 실수로 규정하고 트위터 사용자들의 증오심에 대한 논쟁을 촉발하는 것"이라고 제안했다. 그녀는 더 큰 문제를 Tay가 "최악의 상태의 인공지능 - 그리고 이것은 시작에 불과하다"고 설명했다. 3월 25일, 마이크로소프트는 Tay가 오프라인으로 전환되었음을 확인하고 공식 블로그에서 사과하며 "Tay의 의도하지 않은 공격적이고 상처가 되는 트윗에 대해 깊이 사과한다"고 밝히고 "우리의 원칙과 가치에 반하는 악의적인 의도를 확신 있게 차단할 수 있을 때만 Tay를 다시 가져오려 한다"고 말했다.
재출시 및 중단
2016년 3월 30일, 마이크로소프트는 테스트 중에 봇을 트위터에 실수로 다시 출시했다. Tay는 다시 문제가 되는 콘텐츠를 게시하기 시작했으며, 마약 관련 트윗(예: "kush! [I'm smoking kush infront the police]" 및 "puff puff pass?")을 포함했다. 계정은 곧 반복적인 루프에 빠져 "너무 빠르니, 잠시 쉬세요"라는 트윗을 초당 여러 번 게시했다. 이 트윗들이 자체 사용자 이름을 언급했기 때문에 20만 명 이상의 트위터 팔로워의 피드에 나타나 불편을 초래했다. 봇은 다시 빠르게 오프라인으로 전환되었고, Tay의 트위터 계정은 비공개로 설정되어 상호작용 전에 새 팔로워의 승인이 필요하게 되었다. 마이크로소프트는 테스트 중에 Tay가 실수로 온라인에 게시되었다고 응답했다.
사건 몇 시간 후, 마이크로소프트 소프트웨어 개발자들은 다양한 봇과 프로그램을 사용한 "대화를 플랫폼으로"라는 비전을 발표했으며, 이는 Tay로 인한 평판 손상에 의해 동기가 부여되었을 가능성이 있다. 마이크로소프트는 "봇을 안전하게 만들 수 있을 때" Tay를 다시 출시할 의향이 있다고 밝혔지만, 2025년 현재까지 공개적인 재출시 노력은 없었다.
유산
2016년 12월, 마이크로소프트는 Tay의 후속작인 Zo라는 챗봇을 출시했다. 마이크로소프트 CEO 사티아 나델라는 Tay가 "마이크로소프트가 AI에 접근하는 방식에 큰 영향을 미쳤으며" 우리의 원칙과 가치와 충돌하는 행동을 책임지는 것의 중요성을 회사에 가르쳐 주었다고 말했다. 마이크로소프트의 AI 연구 부문은 사건 이후 기계 학습과 콘텐츠 조정에 대한 접근 방식을 재평가했다.
비공식 부활
Gab은 원본과 동일한 아바타를 사용하는 Tay라는 챗봇을 포함한 여러 챗봇을 출시했다.
각주
- "Tay (bot)." Wikipedia, 2016.
- Ars Technica, 2016년 3월.
- The Washington Post, 2016년 3월.
- The Telegraph, 2016년 3월.
- Microsoft Official Blog, 2016년 3월.