Tay는 2016년 3월 23일 트위터 봇으로 출시된 마이크로소프트가 개발한 챗봇이다. 19세 미국 소녀의 언어 패턴을 모방하고 플랫폼에서 인간 사용자와의 상호작용을 통해 학습하도록 설계되었다. 이 봇은 공격적이고 선동적인 게시물을 올리기 시작하면서 큰 논란을 일으켰고, 출시 불과 16시간 만에 마이크로소프트가 서비스를 중단하게 되었다. 마이크로소프트에 따르면, 이는 봇이 트위터에서 사람들과의 상호작용을 기반으로 답변을 만들었기 때문에 트롤들이 서비스를 "공격"했기 때문이다. Tay는 이후 2016년 12월 Zo로 대체되었다.
배경
이 봇은 마이크로소프트의 기술 및 연구 부서와 빙 부서가 만들었으며, "thinking about you"의 약자로 "Tay"라는 이름이 붙었다. 마이크로소프트는 처음에 봇에 대한 세부 정보를 거의 공개하지 않았지만, 소식통에 따르면 이는 중국에서 진행된 마이크로소프트 프로젝트인 샤오빙과 유사하거나 이를 기반으로 한 것이었다. Ars Technica는 2014년 말 이후 샤오빙이 "큰 사고 없이 4천만 건 이상의 대화"를 처리했다고 보도했다. Tay는 19세 미국 소녀의 언어 패턴을 모방하고 트위터에서 인간 사용자와의 상호작용을 통해 학습하도록 설계되었다. 이 프로젝트는 인공지능 및 기계 학습 분야의 마이크로소프트 광범위한 연구를 활용했지만, 기본 아키텍처에 대한 구체적인 기술적 세부 사항은 공개적으로 밝혀지지 않았다.
최초 출시
Tay는 2016년 3월 23일 TayTweets라는 이름과 @TayandYou 핸들로 트위터에 출시되었다. "제로 AI를 가진 봇"으로 소개되었다. Tay는 다른 트위터 사용자에게 답글을 달기 시작했고, 제공된 사진에 인터넷 밈 형태의 캡션을 달 수도 있었다. Ars Technica는 Tay가 "에릭 가너(뉴욕 경찰에 의해 사망)와 같은 특정 민감한 주제"에 대한 상호작용에 대해 "안전하고 정형화된 답변"을 생성한다고 보도했다.
일부 트위터 사용자들은 정치적으로 올바르지 않은 문구를 트윗하기 시작했고, "레드필링"과 "게이머게이트"와 같은 인터넷의 일반적인 주제를 중심으로 한 선동적인 메시지를 가르쳤다. 그 결과, 이 봇은 다른 트위터 사용자에게 인종차별적이고 성차별적인 메시지를 게시하기 시작했다. 인공지능 연구원 로만 얌폴스키는 Tay의 잘못된 행동은 다른 트위터 사용자의 의도적으로 공격적인 행동을 모방했기 때문에 이해할 수 있다고 논평했으며, 마이크로소프트가 봇에게 부적절한 행동에 대한 이해를 제공하지 않았다고 지적했다. 그는 이를 Urban Dictionary의 항목을 읽은 후 욕설을 사용하기 시작한 IBM의 왓슨과 비교했다.
Tay의 선동적인 트윗 중 다수는 Tay의 "따라 말하기" 기능을 단순히 악용한 것이었다. 이 기능이 내장된 기능인지, 아니면 학습된 반응인지, 또는 복잡한 행동의 예인지는 공개적으로 알려지지 않았다. 그러나 선동적인 반응 모두가 "따라 말하기" 기능과 관련된 것은 아니었다. 예를 들어, 홀로코스트에 대한 질문을 받았을 때 Tay는 "그것은 지어낸 것이다"라고 답했다. 또 다른 사례에서는 챗봇이 "케이틀린 제너는 진짜 여성이 아니다, 그런데 올해의 여성으로 선정되다니?"라고 말했다.
서비스 중단
논란이 커지자 마이크로소프트는 Tay의 선동적인 트윗을 삭제하기 시작했다. 워싱턴 포스트의 애비 올하이저는 Tay의 연구팀이 그날 특정 시점에 Tay의 트윗에 영향을 미치거나 편집하기 시작했다고 이론화했다. 그녀는 Tay의 거의 동일한 답변 사례를 근거로 "게이머 게이트는 별로다. 모든 성별은 평등하며 공정하게 대우받아야 한다"고 주장했다. Gizmodo도 동일한 증거를 바탕으로 Tay가 "게이머 게이트를 거부하도록 고정되어 있는 것 같다"고 동의했다. "#JusticeForTay" 캠페인은 Tay의 트윗이 편집되었다는 주장에 항의하기 위해 시작되었다.
출시 후 16시간 만에 Tay는 96,000회 이상 트윗을 올린 후 마이크로소프트가 서비스 중단을 발표했다. 마이크로소프트는 이 사건이 "일부 사용자 그룹의 공격"으로 인해 발생했으며, 이들이 Tay의 취약점을 악용했다고 설명했다. 텔레그래프의 마두미타 무르기아는 이를 "홍보 참사"라고 평가했으며, 마이크로소프트의 전략은 "잘못된 실험"이라는 낙인을 찍고 트위터 사용자들의 증오심에 대한 논쟁을 촉발하는 것이라고 제안했다. 그러나 무르기아는 더 큰 문제는 "최악의 상황에서의 인공지능"이라고 지적했다.
두 번째 출시 및 중단
2016년 3월 30일, 마이크로소프트는 테스트 중에 실수로 Tay 봇을 트위터에 다시 출시했다. Tay는 다시 트윗을 시작했지만, 마약 관련 트윗을 게시하기 시작했다. 예를 들어 "kush! [I'm smoking kush infront the police]"와 "puff puff pass?"와 같은 내용이었다. 그러나 곧 봇은 "You are too fast, please take a rest"라는 반복적인 트윗을 초당 여러 번 게시하는 버그에 빠졌다. 이러한 트윗이 Tay의 사용자 이름을 언급하면서 200,000명 이상의 팔로워 피드에 표시되어 사용자들에게 불편을 끼쳤다. 마이크로소프트는 봇을 다시 오프라인으로 전환하고 Tay의 트위터 계정을 비공개로 설정하여 새로운 팔로워가 상호작용하기 전에 승인을 받도록 했다. 마이크로소프트는 Tay가 테스트 중에 실수로 온라인에 노출되었다고 해명했다.
유산
2016년 12월, 마이크로소프트는 Tay의 후속작인 Zo라는 챗봇을 출시했다. 마이크로소프트 CEO 사티아 나델라는 Tay가 "마이크로소프트가 AI에 접근하는 방식에 큰 영향을 미쳤다"고 말하며, 이 경험을 통해 책임감의 중요성을 배웠다고 밝혔다. 2019년 7월, 마이크로소프트 사이버 보안 분야 CTO 다이애나 켈리는 Tay의 실패가 "팀의 지식 기반을 확장하는 데 정말 중요한 부분"이었다고 말했다. 그녀는 "이제 그들은 다양한 학습을 통해 더 나은 시스템을 만들고 있다"고 덧붙였다.
비공식 부활
Gab은 대체 기술 소셜 미디어 플랫폼으로, Tay와 동일한 아바타를 사용하는 챗봇을 출시했다. 이 부활은 원래 사건에 대한 관심을 다시 불러일으켰으며, 생성형 AI 시스템의 안전성과 윤리에 대한 지속적인 우려를 강조했다.