数据投毒是一种针对机器学习系统的对抗性攻击，攻击者故意操纵用于构建模型的数据。与利用已训练模型的规避攻击不同，投毒攻击发生在学习阶段，旨在降低模型的整体性能、引入特定的错误分类，或在特定条件下植入隐藏的后门。这种攻击在训练数据可能来自不可信贡献者或未经严格验证从公共资源抓取的高风险应用中尤为危险。
大多数机器学习算法的基础假设是，训练数据和测试数据来自相同的统计分布（独立同分布，即IID）。数据投毒通过故意注入伪造样本来违反这一假设，从而改变学习到的决策边界。这种对抗性操纵可能非常隐蔽，通常只需一小部分被破坏的样本就能实现攻击者的目标。对此类攻击及其防御的研究属于对抗性机器学习的更广泛领域，该领域还包括规避攻击、拜占庭攻击和模型提取。
历史发展
数据投毒的早期演示出现在垃圾邮件过滤的背景下。在2004年1月的MIT垃圾邮件会议上，John Graham-Cumming展示了一种机器学习垃圾邮件过滤器如何被另一种过滤器击败，方法是自动学习在垃圾邮件中添加哪些词汇以使其被分类为非垃圾邮件。同年，Nilesh Dalvi及其同事指出，垃圾邮件过滤器中的线性分类器可以通过简单的规避攻击被击败，攻击者只需在邮件中插入“好词”即可。大约在2007年，一些垃圾邮件发送者开始在图像垃圾邮件中添加随机噪声，以干扰基于光学字符识别（OCR）的过滤器。
2006年，Marco Barreno等人发表了《Can Machine Learning Be Secure?》，概述了针对学习系统的攻击分类体系。直到2013年，许多研究者仍希望支持向量机等非线性分类器和神经网络可能天然对对抗性攻击具有鲁棒性。然而，Battista Biggio等人在2012至2013年间首次演示了针对此类模型的基于梯度的攻击，打破了这一希望。从2014年开始，Christian Szegedy等人展示了深度神经网络可以通过基于梯度的方法被对抗性扰动所欺骗，这一发现迅速推动了该领域的快速发展。
攻击机制与变体
数据投毒攻击根据攻击者的目标和访问权限可以采取多种形式。一种常见的变体是后门攻击，攻击者注入包含特定触发模式（如一个小补丁或特定像素排列）的训练样本，并将其标记为目标类别。训练后，模型在正常输入上表现正常，但任何包含触发器的输入都会被错误分类。另一种变体是可用性投毒，旨在降低模型在合法数据上的整体准确性，通常通过注入异常值或错误标记的样本来混淆学习算法。
基于优化的方法已被开发用于构造投毒样本，以最大化对训练模型的影响。例如，在恶意软件检测领域，研究者提出了对抗性恶意软件生成方法，能够自动构造二进制文件以规避基于学习的检测器，同时保留恶意功能。GAMMA框架使用遗传算法向Windows可执行文件中注入良性内容（如填充或新的PE节区），将规避问题表述为一个受约束的优化问题，在误分类成功率与注入负载大小之间取得平衡。补充工作使用生成对抗网络（GAN）学习特征空间的扰动，使恶意软件被分类为良性；例如，Mal-LSGAN用最小二乘目标函数和修改后的激活函数替代标准GAN损失，以提高训练稳定性，并生成能显著降低多个检测器真阳性率的对抗性恶意软件样本。
在计算机视觉领域，研究者已证明仅改变一个像素就能欺骗深度学习算法。还有人用3D打印了一个玩具乌龟，通过精心设计的纹理使谷歌的目标检测AI在任何视角下都将其分类为步枪。制作该乌龟仅需低成本、市售的3D打印技术。此外，一张经过机器微调的狗的图像被证明对人类和计算机来说都像猫。2019年的一项研究报告称，人类能够猜测机器如何分类对抗性图像。
现实世界示例
数据投毒及相关对抗性攻击已在众多实际场景中得到演示。在垃圾邮件过滤中，攻击涉及通过拼写错误或插入“好词”来混淆消息。在计算机安全领域，攻击者会混淆恶意软件代码、修改网络数据包或流量特征，以误导入侵检测系统。在生物识别中，伪造的生物特征样本可被利用来冒充合法用户，或破坏用户模板库的完整性。
一个著名的例子涉及McAfee对特斯拉前Mobileye系统的攻击：通过在限速标志上粘贴一条两英寸的黑色胶带，攻击者使车辆以超过限速50英里/小时的速度行驶。研究者还发现了改变停止标志外观的方法，使自动驾驶汽车将其分类为合并标志或限速标志。针对面部识别系统和车牌识别系统的对抗性图案被应用于眼镜或衣物上，催生了一个名为“隐身服饰”的小众产业。
2023年，芝加哥大学的研究者发布了一种名为Nightshade的数据投毒过滤器，供视觉艺术家使用，将其应用于作品上以破坏文本到图像模型的数据集，这些模型通常未经创作者同意从互联网抓取数据。对抗性攻击还可应用于神经网络，使攻击者能够向目标系统注入恶意指令。研究者还创造了对抗性音频输入，将恶意命令隐藏在看似良性的声音中；相关平行研究探讨了人类如何感知此类刺激。
现实挑战
进一步研究表明，在不受控环境中制造对抗性攻击更加困难，因为环境约束会抵消扰动效果。例如，图像的任何轻微旋转或光照变化都可能破坏对抗性。Google Brain的Nick Frosst指出，让自动驾驶汽车错过停止标志的更容易方法是直接移除标志，而不是制造对抗性样本。Frosst还认为，对抗性机器学习社区错误地假设了模型在特定数据分布上训练后会在完全不同的分布上表现良好。他建议应探索一种新的机器学习方法，使模型更接近人类感知的特性，而非依赖当前最先进的技术。
新兴的对抗性攻击在人体动作识别系统中也非常有效，这类系统广泛用于监控、自动驾驶和室内监测等实际应用。攻击者通过向人体特征表示中引入噪声来欺骗识别系统。这些攻击不一定需要访问识别系统本身，且对人类用户来说可能难以察觉。
防御与缓解
针对数据投毒的防御通常分为几类。数据清洗涉及在训练前过滤掉异常或可疑的样本。鲁棒聚合方法（如修剪均值或基于中位数的方法）可减少分布式训练中异常梯度的影响。异常检测技术通过监控传入数据的统计特性来识别投毒尝试。差分隐私为单个训练样本的影响提供了形式化保证，从而限制了投毒的破坏力。
在聚类算法用于安全应用（如恶意软件家族识别和特定检测签名生成）的背景下，防御措施必须考虑攻击者可能注入旨在误导聚类过程的样本。尽管对抗性机器学习仍主要源于学术界，但Google、Microsoft和IBM等大型科技公司已开始整理文档和开源代码库，以便他人具体评估机器学习模型的鲁棒性，并降低对抗性攻击的风险。
更广泛的影响
数据投毒的研究凸显了机器学习管道中的根本性漏洞。随着人工智能系统越来越多地部署在自动驾驶、医疗和安全等关键领域，训练数据的完整性变得至关重要。生成式AI和大语言模型系统的兴起（通常从互联网大规模抓取数据）显著扩大了攻击面。投毒攻击可能针对这些模型的偏好或安全对齐，导致其生成有害或有偏见的输出。
研究者持续探索攻击与防御方法，攻击者与防御者之间形成了一场持续的军备竞赛。该领域借鉴了深度学习、神经网络理论和优化方法的洞见。理解当前模型的局限性，尤其是其对分布偏移和对抗性扰动的敏感性，对于构建更鲁棒、更可信的AI系统至关重要。
未来方向
数据投毒的未来研究可能集中于开发可证明的防御方法、理解投毒抵抗的理论极限，以及建立用于评估鲁棒性的标准化基准。随着数据隐私和同意相关法规的演变，数据投毒作为一种抗议或保护形式（如Nightshade等工具所体现的）的伦理意义将继续引发讨论。