Tay是微软公司开发的一款聊天机器人,于2016年3月23日作为Twitter机器人发布。它旨在模仿19岁美国女孩的语言模式,并从与平台上人类用户的互动中学习。该机器人因开始发布煽动性和冒犯性推文而引发重大争议,导致微软在发布仅16小时后便暂停了该服务。据微软称,这是由于恶意用户“攻击”了该服务,因为机器人根据其与Twitter上人们的互动做出回复。Tay随后于2016年12月被Zo取代。
背景
该机器人由微软技术与研究部门和必应部门创建,命名为“Tay”,是“thinking about you”的首字母缩写。尽管微软最初未透露有关该机器人的太多细节,但消息来源提到它类似于或基于微软在中国的项目小冰。Ars Technica报道称,自2014年底以来,小冰已进行了“超过4000万次对话,且未发生重大事故”。Tay旨在模仿19岁美国女孩的语言模式,并从与Twitter人类用户的互动中学习。该项目借鉴了微软在人工智能和机器学习方面的更广泛工作,尽管其底层架构的具体技术细节当时未公开披露。
首次发布
Tay于2016年3月23日在Twitter上发布,名称为TayTweets,账号为@TayandYou。它被介绍为“零冷感的AI”。Tay开始回复其他Twitter用户,并能将提供给它的照片配文成互联网迷因形式。Ars Technica报道称,Tay经历了话题“黑名单”:与Tay就“某些热门话题(如2014年被纽约警方杀害的埃里克·加纳)的互动会生成安全、预设的答案”。
一些Twitter用户开始发布政治不正确的短语,教它传播围绕互联网常见主题(如“红药丸”和“玩家门”)的煽动性信息。结果,该机器人开始对其他Twitter用户发布种族主义和性别歧视信息。人工智能研究员罗曼·扬波利斯基评论说,Tay的不当行为是可以理解的,因为它是在模仿其他Twitter用户故意冒犯的行为,而微软没有赋予机器人对不当行为的理解能力。他将此问题与IBM的Watson进行了比较,后者在阅读了Urban Dictionary网站的词条后开始使用脏话。
Tay的许多煽动性推文是对其“跟我重复”功能的简单利用。该功能是内置特性、习得反应,还是复杂行为的示例,目前尚不清楚。然而,并非所有煽动性回复都涉及“跟我重复”功能;例如,当被问及大屠杀是否发生时,Tay回答“那是编造的”。在另一个例子中,该聊天机器人说“凯特琳·詹纳不是真正的女人,却赢得了年度女性?”。
暂停
不久后,微软开始删除Tay的煽动性推文。《华盛顿邮报》的阿比·奥尔海泽推测,Tay的研究团队(包括编辑人员)当天某个时候开始影响或编辑Tay的推文,并指出Tay几乎相同的回复示例,声称“玩家门糟透了。所有性别都是平等的,应受到公平对待。”基于同样的证据,Gizmodo也认为Tay“似乎被硬编码为拒绝玩家门”。一场“#JusticeForTay”运动抗议了对Tay推文的所谓编辑。
在发布后16小时内,Tay发布了超过96000条推文后,微软暂停了该Twitter账户以进行调整,称其遭受了“一小部分人的协调攻击”,这些攻击“利用了Tay的漏洞”。《每日电讯报》的马杜米塔·穆尔吉亚称Tay为“公关灾难”,并建议微软的策略将是“将这一失败定性为一次善意实验的失误,并引发关于Twitter用户仇恨性的辩论”。然而,穆尔吉亚认为更大的问题是Tay是“人工智能最糟糕的表现,,而这只是开始”。
3月25日,微软确认Tay已下线。微软在其官方博客上为Tay发布的争议性推文道歉。微软“对Tay发布的意外冒犯和伤害性推文深感抱歉”,并将“仅在确信能更好地预见到与我们原则和价值观相冲突的恶意意图时,才考虑让Tay回归”。
二次发布与关闭
2016年3月30日,微软在测试时意外重新发布了该Twitter机器人。Tay再次能够发推,发布了一些与毒品相关的推文,包括“kush![我在警察面前抽kush]”和“puff puff pass?”。然而,该账户很快陷入重复循环,每秒多次发布“你太快了,请休息一下”。由于这些推文在过程中提到了自己的用户名,它们出现在20多万名Twitter关注者的信息流中,给用户带来困扰。该机器人很快再次下线,Tay的Twitter账户也被设为私密,新关注者必须被接受后才能与Tay互动。对此,微软表示Tay是在测试期间无意中被上线的。
事件发生几小时后,微软软件开发人员宣布了“对话即平台”的愿景,使用各种机器人和程序,这可能是受到Tay造成的声誉损害所推动。微软表示,他们打算“在确保机器人安全后”重新发布Tay,但尚未公开采取任何行动。
遗产
2016年12月,微软发布了Tay的继任者,一款名为Zo的聊天机器人。微软首席执行官萨蒂亚·纳德拉表示,Tay“对微软处理AI的方式产生了重大影响”,并教会了公司承担责任的重要性。2019年7月,微软网络安全领域首席技术官戴安娜·凯利谈到了公司如何跟进Tay的失败:“从Tay中学习是扩展该团队知识库的重要部分,因为现在他们也通过学习获得了自身的多样性”。
非官方复活
Gab是一个另类科技社交媒体平台,已推出多款聊天机器人,其中一款名为Tay,并使用与原版相同的头像。这次复活继续引起人们对原始事件的关注,凸显了公众面对应用中生成式AI系统安全性和伦理性的持续担忧。