深度伪造是一种合成媒体，最常见的是视频或音频，通过深度学习技术生成或操纵，以令人信服地描绘真实人物说出或做出他们实际上并未说出或做出的事情。该术语是“深度学习”和“伪造”的混成词，起源于2017年底的一个Reddit论坛，当时一位名为deepfakes的用户使用基于早期生成对抗网络的换脸工具发布了换脸视频，最初涉及名人。
深度伪造技术在2010年代末和2020年代初迅速发展，从粗糙、易于检测的换脸演变为高度逼真的视频，并日益实现实时语音克隆和全身合成，引发了涉及未经同意的色情内容、政治虚假信息和欺诈的担忧。
技术
早期的深度伪造主要使用基于自编码器的换脸技术，训练一个共享编码器和两个独立解码器，分别处理两个人的视频素材，从而将一个人的表情映射到另一个人的脸上。基于GAN的方法通过让生成器与训练用于检测伪造品的判别器对抗，进一步提高了真实感。到2020年代中期，扩散模型已成为高质量合成视频和图像生成的主导技术，专用的换脸和唇形同步工具，以及通用文本到视频系统，使得制作令人信服的伪造视频比该技术早期阶段更加便宜和快速。
恶意和合法用途
已记录的恶意应用包括未经同意的私密影像，这是最早且仍最常见的报告用例；政治虚假信息，例如选举前后发布的关于公众人物的捏造声明；以及金融欺诈，包括2024年广泛报道的一起案件，其中一家跨国公司的财务员工被一场包含深度伪造高管的视频通话欺骗，汇出了数百万美元。深度伪造技术也有公认的合法应用，包括电影配音和去老化效果、为失去声音的人生成合成语音的无障碍工具，以及在某些司法管辖区受言论自由保护的讽刺作品。
检测与对策
检测深度伪造已成为一个活跃的研究领域，利用诸如眨眼不一致、面部几何异常或微妙的视听不匹配等伪影，尽管检测准确性难以跟上生成质量的步伐，尤其是对于最高端的模型。水印和内容来源标准已被提议作为补充防御措施，不依赖于识别生成伪影。多个司法管辖区在2020年代中期专门对深度伪造进行监管，包括美国各州针对选举相关和未经同意的私密深度伪造的法律，以及欧盟人工智能法案中要求披露AI生成媒体的条款，尽管由于此类内容易于制作和分发，跨境执法仍然困难。
影响
除了具体的有害事件外，研究人员和记者还描述了一种更广泛的“说谎者红利”：随着公众意识到令人信服的伪造视频和音频是可能的，真实素材可能被斥为伪造，从而普遍削弱对真实证据的信任。这种动态已被引用为死互联网理论增长的一个因素，以及关于生成式AI时代在线媒体可靠性的相关讨论。