2023年2月，一段关于巴基斯坦前总理伊姆兰·汗的深度伪造视频在网上发布，视频中他宣布在该国即将举行的大选中获胜。该视频在社交媒体平台上广泛传播，后来被确认为使用Generative AI技术合成的产物。这标志着深度伪造技术首次在高规格场合被用于国家选举活动，引发了对Artificial intelligence对民主进程影响的担忧。
该视频出现之际，巴基斯坦正处于政治动荡时期，此前汗于2022年4月被免职并面临后续法律挑战。深度伪造视频显示，当时被禁止担任公职的汗向人群发表讲话，并声称在定于当年晚些时候举行的选举中获胜。记者和事实核查人员迅速对该视频的真实性提出质疑，指出面部动作和音频质量存在不一致之处，最终将其认定为Deep learning算法的产物。
技术起源与制作
该深度伪造视频是使用公开可用的Machine learning工具创建的，这些工具允许用户替换视频中的面部并操纵音频。虽然确切的软件尚未得到确认，但专家认为该视频可能采用了Neural network架构，如Residual Network (ResNet)或U-Net，以生成逼真的面部表情和唇形同步。模仿汗声音的音频可能是使用Large language model或基于其公开演讲训练的文语转换系统合成的。该视频的制作者身份从未被确认，但分析人士认为，它是由试图在选举前影响公众舆论的政治操作人员制作的。
该深度伪造视频的发布恰逢南亚政治中合成媒体使用日益增多的趋势，Generative AI工具变得越来越普及。与早期形式的虚假信息（如篡改照片或剪辑片段）不同，该视频不需要专业技能，凸显了Deep learning技术的普及化。这一事件被拿来与其他国家的类似案例进行比较，如2022年乌克兰总统弗拉基米尔·泽连斯基的深度伪造视频，但因其在实时选举周期内发布而尤为引人注目。
政治与法律回应
该深度伪造视频立即引发了巴基斯坦当局和国际观察人士的反应。巴基斯坦选举委员会发表声明，警告不要传播虚假内容，而巴基斯坦电信管理局据报道正在调查该视频的来源。汗所在的政党巴基斯坦正义运动党（PTI）否认参与其中，汗本人也未公开评论该视频，可能是由于其法律限制。法律专家指出，巴基斯坦2016年颁布的网络犯罪法律并未专门针对深度伪造，留下了监管空白。
包括联合国在内的国际组织利用这一事件呼吁加强对AI驱动的虚假信息的防护措施。该视频被MIT CSAIL研究人员和其他学术机构在报告中引用，作为验证数字内容挑战的案例研究。作为回应，一些社交媒体平台（如Twitter和Facebook）对操纵媒体实施了更严格的政策，但执行情况仍不一致。该事件还引发了巴基斯坦关于需要媒体素养项目以帮助公民识别Artificial intelligence生成内容的讨论。
对选举诚信的影响
该深度伪造视频的发布对巴基斯坦的公共话语产生了可衡量的影响。视频出现后数周内进行的调查显示，尽管法新社和路透社等媒体进行了事实核查，仍有相当一部分民众相信该视频是真实的。这种混淆因该视频的病毒式传播而加剧，它通过whatsapp等即时通讯平台广泛分享，而这些平台的验证工具有限。该事件引发了对Machine learning在塑造选举结果中作用的质疑，尤其是在社交媒体使用率高但数字素养低的国家。
选举观察人士指出，该深度伪造视频并未改变最终结果，因为汗的政党最终被禁止参加选举，但它为未来的竞选活动树立了先例。该视频展示了Generative AI如何被用来制造令人信服的虚假叙事，可能破坏对民主制度的信任。一些分析人士认为，该深度伪造视频是更大规模虚假信息宣传活动的一部分，该活动还包括假新闻文章和操纵图像，但没有直接证据将该视频与特定政治派别联系起来。
技术对策
事件发生后，研究人员和科技公司加快了开发深度伪造检测工具的努力。OpenAI和Google DeepMind等组织此前已在研究AI生成内容的水印和认证方法，但巴基斯坦案例凸显了这些努力的紧迫性。Amazon Web Services和其他云服务提供商开始提供基于AI的内容审核服务，以标记合成媒体，但其有效性参差不齐。包括Stanford AI Lab和BAIR (Berkeley AI Research)在内的学术机构发表了关于提高Neural network对抗对抗性攻击鲁棒性的论文，这些攻击常用于创建深度伪造。
尽管取得了这些进展，检测仍是一场军备竞赛，因为深度伪造的制作者不断使用更新的模型（如Transformer (architecture)架构）来改进技术。该事件还引发了对监管框架的呼吁，一些专家提议对AI生成内容进行强制标注，类似于欧盟AI法案所采取的方法。在巴基斯坦，政府宣布计划更新其网络犯罪法律，以纳入合成媒体的条款，但截至2025年，这些修改尚未完全实施。
对AI治理的更广泛影响
伊姆兰·汗的深度伪造视频成为全球AI治理辩论的参考点。它在AI造福全球峰会等会议上以及布鲁金斯学会等智库的政策文件中被讨论。该事件说明了Artificial intelligence的双重用途性质，即用于创意目的的工具可能被滥用于政治操纵。它还强调了科技公司、政府和民间社会之间需要合作，以应对Generative AI带来的挑战。
在视频发布后的几年里，类似的深度伪造视频出现在印度、巴西和美国的选举中，但巴基斯坦案例因其时间较早和影响清晰而仍然引人注目。Carnegie Mellon University和其他机构的研究人员利用该事件开发了检测政治深度伪造的基准，为AI安全领域做出了贡献。该事件还影响了Reinforcement Learning from AI Feedback (RLAIF)（基于AI反馈的强化学习）等工具的开发，这些工具旨在使AI系统更符合人类价值观，尽管这些努力仍处于早期阶段。
伊姆兰·汗的深度伪造视频是技术与民主交汇的警示故事。它强调了在Machine learning能够产生令人信服的虚假信息的时代，健全的验证机制和公众意识的重要性。随着Artificial intelligence的持续发展，这一事件的经验教训很可能将影响未来旨在维护选举诚信的政策和技术创新。