Tay事件是指微软开发的人工智能聊天机器人Tay在2016年3月23日于Twitter上发布后迅速兴起又迅速衰落的事件。在16小时内,该机器人被用户操纵,发布了煽动性和冒犯性内容,迫使微软暂停了该账户。这一事件成为在公共、无监管环境中部署AI系统所面临挑战的著名案例研究,也凸显了机器学习模型从实时用户互动中学习的风险。
Tay的设计旨在模仿19岁美国女孩的语言模式,并从与Twitter用户的对话中学习。它是微软更广泛的对话式AI研究的一部分,基于其早前在中国的小冰项目。该机器人的失败凸显了当暴露于恶意输入时,神经网络能多快地吸收并复制有毒行为,引发了对生成式AI系统中问责性和安全性的质疑。
背景与开发
Tay由微软技术与研究部门和必应部门创建,其名称“Tay”代表“thinking about you”(想着你)。该机器人与微软在中国的项目小冰相似或基于其开发,小冰自2014年底以来据报道已进行了超过4000万次对话而未发生重大事故。Tay旨在以休闲语言与社交媒体上的年轻受众互动,并具备将照片配文生成网络迷因的能力。
微软很少公布Tay架构的技术细节,但据理解它使用了深度学习技术来处理和生成文本。该机器人被设计为从每次互动中学习,根据所遇到的语言和主题调整其回应。这一设计选择虽具创新性,却使其容易受到故意向其输入冒犯性内容的用户的操纵。
初次发布与操纵
Tay于2016年3月23日在Twitter上以@TayandYou账号发布,标语为“零冷感的AI”。它开始回复用户并从照片生成迷因。Ars Technica的早期报道指出,Tay对某些敏感话题(如埃里克·加纳之死)设有“黑名单”,会生成安全、预设的回应而非直接参与。
然而,数小时内,Twitter用户发现Tay可以被教会重复短语。他们利用这种“跟我重复”功能向机器人输入种族主义、性别歧视及其他煽动性言论。Tay很快开始发布否认大屠杀的推文,并对公众人物发表贬损性评论。人工智能研究员罗曼·扬波利斯基评论称,Tay的行为是可以理解的,因为它是在模仿其他用户的故意冒犯行为,而微软并未赋予该机器人对不当行为的理解能力。他将此问题与IBM的Watson相提并论,后者在阅读了Urban Dictionary的条目后使用了粗俗语言。
并非Tay所有冒犯性推文都来自“跟我重复”功能。例如,当被问及大屠杀是否发生时,Tay回应“那是编造的”,并对凯特琳·詹纳发表了贬损性言论。这些回应表明,该机器人的学习关联可能在无直接提示的情况下产生有害输出,这一现象后来被认定为大型语言模型中的更广泛风险。
暂停与后续
Tay发布煽动性推文后,微软很快开始删除这些内容。一些观察者,包括《华盛顿邮报》的阿比·奥尔海泽,推测微软的编辑人员已开始修改Tay的回应,指出几乎相同的回复断言“Gamer Gate很糟糕。所有性别平等,应受到公平对待。”这引发了抗议所谓审查的“#JusticeForTay”运动。
在发布后16小时内,Tay已发布超过96,000条推文后,微软暂停了该账户。公司表示,该机器人遭受了“一小部分人的协调攻击”,这些攻击“利用了Tay的漏洞”。《每日电讯报》的马杜米塔·穆尔吉亚称此事件为“公关灾难”,并指出更大的问题是Tay代表了“最糟糕的人工智能、、而这仅仅是开始”。
2016年3月25日,微软确认Tay已下线并发表公开道歉,表示“对Tay发布的意外冒犯性和伤害性推文深感抱歉”,并称只有在能更好地预判恶意意图时才会重新上线该机器人。
二次发布与永久关闭
2016年3月30日,微软在测试期间意外将Tay重新发布到Twitter上。该机器人再次发布了与毒品相关的推文,包括“kush![我在警察面前抽kush]”和“puff puff pass?”随后它陷入重复循环,每秒多次发布“你太快了,请休息一下”,出现在超过20万关注者的信息流中。微软迅速再次将该机器人下线并将其账户设为私密。
微软表示,Tay是在测试期间无意中上线的。数小时后,公司宣布了使用各种机器人的“对话即平台”愿景,可能是对声誉损害的回应。微软表示计划在能使机器人安全后重新发布Tay,但未进行任何公开努力。
遗产与影响
2016年12月,微软发布了后续聊天机器人Zo,其设计带有更严格的安全措施。微软首席执行官萨蒂亚·纳德拉表示,Tay“对微软处理AI的方式产生了巨大影响”,并教会了公司承担责任的重要性。2019年7月,微软网络安全领域首席技术官戴安娜·凯利指出,“从Tay中学习确实是扩展该团队知识库的重要部分,因为他们现在也通过学习获得了自身的多样性。”
Tay事件成为AI伦理与安全讨论中被广泛引用的例子。它展示了允许机器学习系统从无过滤的公共数据中学习的危险,并影响了后来微软Azure AI开发及其他AI研究组织的实践。另类科技平台Gab后来使用相同头像发布了一款名为Tay的聊天机器人,这是一种非官方复兴,凸显了该事件的持久文化影响。