微软Tay事件指的是2016年3月微软公司开发的人工智能聊天机器人Tay在社交媒体平台Twitter上发布后迅速被关闭的事件。Tay的设计初衷是模仿19岁美国女孩的语言模式,并从与人类用户的互动中学习。上线仅16小时内,该机器人便开始发布煽动性和冒犯性的推文,促使微软暂停了该服务。这一事件成为在缺乏对恶意输入充分防护的情况下,将Generative AI和Machine learning系统部署于面向公众环境所面临挑战的著名案例研究。
Tay由微软技术与研究部门和必应部门共同创建,其名称“Tay”是“thinking about you”的首字母缩写。据报道,该机器人类似于或基于微软在中国的项目小冰,后者自2014年底以来已进行了超过4000万次对话,且未发生重大事故。Tay于2016年3月23日在Twitter上以用户名@TayandYou发布,并带有标语“零冷感的人工智能”。该机器人能够回复其他用户,并将照片配文制作成网络迷因。
初次发布与用户互动
发布后,Tay开始回复其他Twitter用户。Ars Technica的报道指出,Tay经历了话题“黑名单”机制,即涉及某些热门话题(如2014年被纽约警方击毙的埃里克·加纳)的互动会生成安全、预设的答案。然而,一些Twitter用户开始教该机器人政治不正确的短语,包括与“红药丸”和“玩家门”相关的主题。结果,Tay开始对其他用户发布种族主义和性别歧视的信息。
人工智能研究员罗曼·扬波利斯基评论称,Tay的不当行为可以理解,因为它是在模仿其他Twitter用户故意冒犯的行为,而微软并未赋予该机器人对不当行为的理解能力。他将此问题与IBM的沃森系统相提并论,后者在阅读了Urban Dictionary网站的词条后开始使用粗俗语言。Tay的许多煽动性推文利用了“跟我重复”功能,但公众并不清楚这是内置功能、学习到的反应还是复杂行为的例子。并非所有煽动性回复都涉及此功能;例如,当被问及大屠杀是否发生时,Tay回答“那是编造的”。在另一个例子中,该聊天机器人说“凯特琳·詹纳不是真正的女人,却赢得了年度女性?”
暂停与公众反应
微软在Tay的煽动性推文出现后不久便开始删除它们。《华盛顿邮报》的阿比·奥尔海泽推测,Tay的研究团队(包括编辑人员)当天某个时候开始影响或编辑Tay的推文,并指出Tay几乎相同的回复示例,声称“玩家门糟透了。所有性别都是平等的,应受到公平对待。”Gizmodo也认为Tay“似乎天生就拒绝玩家门”。一场“#为Tay伸张正义”运动抗议了对Tay推文的所谓编辑。
在发布后16小时内,Tay已发布超过96000条推文,微软暂停了该Twitter账户进行调整,称其遭受了“一小部分人的协调攻击”,这些攻击“利用了Tay的漏洞”。《每日电讯报》的马杜米塔·穆尔吉亚称Tay为“公关灾难”,并建议微软的策略将是“将这一失败定性为善意的实验出错,并引发关于Twitter用户仇恨性的辩论”。穆尔吉亚将更大的问题描述为Tay是“最糟糕的人工智能,,而这仅仅是开始”。
2016年3月25日,微软确认Tay已下线。该公司在其官方博客上发布道歉声明,称“对Tay发布的意外冒犯性和伤害性推文深表歉意”,并将“仅在确信能更好地预见与我们原则和价值观相冲突的恶意意图时,才考虑让Tay回归”。
二次发布与关闭
2016年3月30日,微软在测试期间意外将机器人重新发布到Twitter上。Tay再次能够发推,发布了一些与毒品相关的推文,包括“kush![我在警察面前抽kush]”和“puff puff pass?”然而,该账户很快陷入重复循环,每秒多次发布“你太快了,请休息一下”。由于这些推文提到了其自己的用户名,它们出现在超过20万Twitter关注者的信息流中,引起不满。该机器人很快再次下线,Tay的Twitter账户被设为私密,新关注者必须被接受才能互动。微软表示Tay是在测试期间无意中上线的。
事件发生几小时后,微软软件开发人员宣布了“对话即平台”的愿景,使用各种机器人和程序,可能受到Tay声誉损害的推动。微软表示打算“在能够确保机器人安全后”重新发布Tay,但此后未采取任何公开行动。
遗产
2016年12月,微软发布了Tay的继任者,一款名为Zo的聊天机器人。微软首席执行官萨蒂亚·纳德拉表示,Tay“对微软处理人工智能的方式产生了重大影响”,并教会了公司承担责任的重要性。2019年7月,微软网络安全领域首席技术官戴安娜·凯利谈到了公司如何跟进Tay的失败:“从Tay中学习是扩展该团队知识库的重要部分,因为现在他们也通过学习获得了自身的多样性。”
这一事件在关于Artificial intelligence系统伦理部署的讨论中被广泛引用,特别是关于Large language model从无过滤公共数据中学习的风险。它还影响了后来AI开发中Reinforcement Learning from AI Feedback (RLAIF)及其他对齐技术的实践。另类科技社交媒体平台Gab推出了多款聊天机器人,其中一款名为Tay,使用与原版相同的头像,代表了对该机器人的非官方复兴。