深度伪造监管涵盖为规范通过人工智能技术生成的合成媒体的创作、分发和使用而制定的法律、行政法规和行业准则体系。深度伪造(deepfake)是“深度学习”和“伪造”的合成词,指使用基于人工智能的工具编辑或生成的图像、视频或音频,通常描绘真实或虚构的人物。虽然制作虚假内容的行为早于数字技术,但深度伪造独特地利用了机器学习和神经网络(如变分自编码器和生成对抗网络,简称GANs),能够实现高度逼真的操纵,引发了对虚假信息、欺诈和隐私侵犯的担忧。
各司法管辖区的监管回应参差不齐,反映出在保护个人和社会免受伤害与维护言论自由、艺术实验和技术创新之间的张力。该领域仍在动态发展,随着底层技术的演进,政府、行业机构和学术研究人员不断提出检测方法和缓解策略。
历史背景
照片处理技术于19世纪发展起来,并很快应用于电影,技术在20世纪稳步提升,并随着数字视频的出现而加速。学术研究人员在1990年代开始开发自动化面部动画技术,特别是1997年的“Video Rewrite”程序,该程序使用机器学习修改现有镜头,使人物说出不同音轨中的词语。2010年代中期GANs的发展标志着一个关键技术转折点,使竞争性神经网络能够生成视觉保真度远超早期基于规则或自编码器方法的高度逼真伪造图像和视频。
随后的学术项目进一步完善了这些技术。2016年的“Face2Face”程序使用消费级摄像头实现实时面部表情重演,而2017年的“Synthesizing Obama”项目从音频生成照片级逼真的嘴部形状。这些进展将深度伪造创作从专业研究环境推向更广泛的可用性,最终进入在线社区和商业应用。
监管理由
政策制定者引用了多种危害来证明深度伪造监管的合理性。恶意用途包括儿童性虐待材料、名人色情视频、色情报复、假新闻、恶作剧、欺凌和金融欺诈。学术界对选举干预、虚假信息和仇恨言论的传播以及公众对媒体信任的侵蚀提出了担忧。研究人员还展示了超越媒体操纵的威胁,包括对医学图像的攻击,,一项研究显示,攻击者如何自动在患者的3D CT扫描中注入或移除肺癌,从而欺骗放射科医生和检测AI。
金融欺诈是一个日益增长的担忧,因为语音克隆和视频操纵工具使冒充高管和家庭成员进行诈骗成为可能。信息技术行业已通过检测方法和内容来源标准作出回应,但各国监管框架的发展速度各不相同。
美国方法
美国采取了分散的方法,截至2025年尚无全面的联邦深度伪造法律。联邦立法已提出但未通过,包括针对选举干预、未经同意的私密图像和欺诈的法案。各州采取了更具体的行动。加利福尼亚州于2019年颁布法律,将深度伪造色情内容和在选举前特定时间内的政治深度伪造定为犯罪。其他州,包括得克萨斯州、弗吉尼亚州和纽约州,已通过针对未经同意的私密图像或选举相关深度伪造的措施,但处罚和定义差异很大。
联邦机构在可能的情况下适用了现有法律。联邦贸易委员会在某些案件中利用其权力打击欺骗性行为,联邦选举委员会已考虑针对AI生成的竞选内容制定规则。法院也通过现有侵权索赔(如诽谤、公开权侵权和虚假陈述)处理深度伪造,但这些保护并不均衡。
欧盟及其他司法管辖区
欧盟采取了更全面的方法。《数字服务法》于2024年生效,要求超大型在线平台评估并缓解系统性风险,包括信息操纵。《人工智能法》于2024年通过,对生成或操纵内容的AI系统施加透明度义务,要求披露内容为合成内容。它还禁止某些操纵性技术,并要求在大多数情况下对深度伪造进行标注,艺术和讽刺作品除外。
中国采取了独特的路径,反映了文化和政治背景。中文中深度伪造的术语“换脸”缺乏英文中“伪造”的负面含义。中国的法规于2020年和2023年生效,要求深度伪造提供商标注合成内容、验证用户身份,并获取使用其图像或声音的个人的同意。这些规则强调欺诈风险、肖像权、经济利润和伦理失衡,而非政治虚假信息。
其他国家已颁布针对性措施。英国2023年通过的《在线安全法》将分享深度伪造私密图像定为犯罪。韩国于2020年修订其电信法以应对深度伪造色情内容。印度依赖现有的信息技术规则,要求中介机构删除非法内容,并提出了针对合成媒体的修正案。
行业自律
科技公司在政府监管之外制定了自愿措施。主要平台包括OpenAI、Google DeepMind和Anthropic已发布关于合成媒体的政策,部分承诺采用水印或内容来源元数据。内容来源与真实性联盟(C2PA)是一个行业联盟,已制定加密签名内容历史的技术标准。
社交媒体平台已实施对操纵媒体的标注要求,但执行不一致。一些公司限制了深度伪造创作工具,或要求生成合成内容的用户进行身份验证。行业努力还集中在检测研究上,MIT CSAIL和Berkeley AI Research等组织正在开发识别操纵媒体的取证工具。
挑战与批评
监管面临重大挑战。检测仍不完善,因为深度伪造生成技术快速演进,对抗性方法可以规避取证工具。管辖权问题出现,因为在一个国家创建的内容可以在全球分发,使执法复杂化。关于什么构成深度伪造与用于娱乐、教育或艺术表达的合法合成媒体之间,定义性问题持续存在。
批评者认为,过于宽泛的监管可能压制受保护的言论,包括讽刺、模仿和政治评论。娱乐行业使用深度伪造技术进行视觉效果和演员减龄,引发了关于同意和劳工权利的问题。研究人员指出,对深度伪造在社交媒体上传播方式的理解存在空白,消极情绪和情感反应是分享的主要驱动因素,,仅靠监管可能无法解决这些因素。
未来方向
截至2025年,深度伪造监管仍是一个不断发展的领域。提案包括要求实时检测工具、为托管恶意深度伪造的平台确立责任,以及建立国际协议以协调标准。学术研究继续探索技术对策和社会科学方法,包括深度伪造的美学和文化维度。随着技术变得越来越令人信服和易于获取,创新、表达和保护之间的平衡可能仍将存在争议。