影响函数是稳健统计学中的一种数学工具，用于衡量单个训练样本对模型学习参数及其预测的影响。在机器学习中，它们提供了一种有原则的方式来回答一个基本问题：哪些训练数据点对给定预测的贡献最大，或者哪些点对整体模型性能的危害最大？通过近似移除或加权某个训练点后模型参数的变化，影响函数为理解复杂模型（包括深度神经网络）的晦涩行为提供了一扇窗口。
该概念起源于20世纪70年代和80年代的稳健统计学领域，其发展旨在评估估计量对异常值的敏感程度。在该背景下，估计量的影响函数描述了在某一点处无穷小污染对估计量值的影响。这一统计学基础后来被应用于机器学习，最著名的是2017年由斯坦福大学和加州大学伯克利分校的研究人员发表的论文，该论文展示了如何利用二阶优化技术为神经网络高效计算影响函数。此后，影响函数已成为新兴数据中心AI领域的关键工具，应用于数据估值、数据集调试和模型行为理解。
数学表述
影响函数基于留一法再训练的思想。对于规模为n的训练数据集，移除单个点的确切影响需要重新训练模型n次，这对于现代模型而言在计算上不可行。影响函数则利用模型的损失函数及其Hessian矩阵提供了一种闭式近似。对于由θ参数化、通过最小化经验风险训练的模型，训练点z对模型参数的影响由下式给出：
I_up,loss(z) = -H_θ⁻¹ ∇_θ L(z, θ)
其中H_θ是训练损失的Hessian矩阵，∇_θ L(z, θ)是点z的损失梯度。该公式近似了若点z被无穷小量加权时参数的变化。要估计对特定测试预测的影响，需将此参数影响乘以测试损失关于参数的梯度。计算需要求Hessian矩阵的逆，通常使用共轭梯度法或Woodbury恒等式等技术来近似，以避免完整的矩阵求逆。
与稳健统计学的联系
影响函数的学术脉络直接追溯到稳健统计学，该领域于20世纪60年代和70年代兴起，旨在解决经典估计量对异常值和模型误设的敏感性问题。影响函数由Frank Hampel于1974年正式引入，作为表征估计量局部稳健性的工具。在该框架中，影响函数衡量由某点处无穷小污染引起的渐近偏差。这一概念后来被Peter Rousseeuw等人扩展，用于开发稳健回归和协方差估计方法。机器学习中的改编保留了核心思想，，衡量对单个数据点的敏感性，，但将焦点从理论稳健性转向了实际的模型调试和数据估值。
在机器学习中的应用
影响函数在现代机器学习流程中找到了几种实际应用。最突出的之一是训练数据调试：通过计算每个训练点对错误分类测试样本的影响，从业者可以识别出降低模型性能的错误标记或噪声数据。例如，如果一张训练图像被错误标记，其对特定测试类别模型错误的影响将不成比例地高，从而允许自动标记此类点。这种方法已用于计算机视觉和自然语言处理任务中，以在最终模型部署前清理数据集。
另一个关键应用是数据估值，其中影响函数根据每个训练点对模型性能的贡献为其分配定量分数。这在协作数据市场中尤为重要，贡献者可能根据其数据的价值获得补偿。基于影响的估值提供了一种有原则的替代方案，取代了像留一法准确率这样对于大型数据集在计算上不可行的简单启发式方法。像OpenAI和Google DeepMind这样的公司已探索使用基于影响的方法来理解其训练语料库的哪些部分驱动了大型语言模型中的特定能力。
计算挑战
尽管影响函数在理论上优雅，但在应用于现代模型时面临显著的计算障碍。对于具有数百万或数十亿参数的深度神经网络，其Hessian矩阵过于庞大，无法直接计算或求逆。研究人员开发了几种近似方法来解决这一问题。最常见的方法使用Hessian-向量积的随机估计，结合共轭梯度法求解线性系统，而无需显式构造Hessian矩阵。对于Transformer和其他大型架构，这仍然需要多次通过模型的反向传播，可能成本高昂，但对于参数达数十亿的模型而言是可处理的。
另一个挑战是近似本身的准确性。影响函数假设损失曲面局部为二次型，且模型处于局部最小值。在实践中，深度学习模型通常使用随机梯度下降训练，可能未达到真正的最小值，且损失曲面可能高度非凸。实证研究表明，在这种情况下，影响函数近似可能带有噪声或具有误导性，特别是对于使用Dropout或批归一化的模型，这些技术引入了随机性。最近的研究提出了诸如“TracIn”方法等变体，利用跨训练检查点的梯度相似性来提供更稳健的影响估计。
与其他数据归因方法的关系
影响函数是更广泛的数据归因技术家族的一部分。较简单的方法包括留一法再训练，该方法精确但成本高昂，以及基于梯度的相似性度量，该方法比较训练点和测试点的梯度。更近期的方法包括代表点方法，该方法利用最后一层的权重将模型的预测分解为训练点的贡献，以及基于Shapley值的方法，该方法利用合作博弈论为每个数据点分配公平的贡献。影响函数处于中间地带：它们比梯度相似性更有原则，但比Shapley值计算强度更低。每种方法在准确性、可扩展性和可解释性方面都有权衡，选择通常取决于具体应用和模型大小。
在现代AI系统中的应用
随着大规模AI系统的兴起，影响函数重新受到关注。对于在数万亿个token上训练的大型语言模型，理解哪些训练样本有助于特定行为，，如事实知识、推理能力或有害输出，，是一个关键未解问题。Anthropic和其他实验室的研究人员已使用基于影响的技术将模型输出追溯到训练数据，有助于可解释性和安全审计。在生成式AI的背景下，影响函数可以帮助识别导致记忆化或版权侵犯的训练数据，这具有法律和伦理影响。
在生产系统中，影响函数用于数据质量监控。例如，Amazon Web Services和Google Cloud提供机器学习平台，其中基于影响的工具可以帮助客户调试其数据集。像Halcyon和Omniscient这样的初创公司已围绕数据归因构建产品，将影响函数作为核心组件。该方法也与联邦学习相关，其中数据分布在设备上，影响函数可以帮助识别哪些客户端对模型性能贡献最大。
局限性与未解问题
影响函数有几个已知的局限性。近似误差随模型复杂度和数据集大小而增长，且该方法假设模型训练至收敛，这在实践中很少成立。对于非凸模型，影响函数可能对局部最小值的选择敏感，导致估计不稳定。此外，影响函数提供局部线性近似，可能遗漏训练点之间的高阶交互。例如，两个点的组合影响可能大于其个体影响之和，这一现象在标准表述中未被捕获。
另一个未解问题是对于具有数百亿参数的模型（如最大的Transformer）影响计算的可扩展性。当前方法需要存储或重新计算梯度和Hessian-向量积，这内存密集。研究人员正在探索使用低秩分解和随机投影的近似方法，以使影响函数在此规模下可行。还有正在进行的工作是使影响函数对分布偏移更加稳健，其中测试分布与训练分布不同，这在现实部署中很常见。
未来方向
影响函数的未来可能在于将其与其他可解释性工具相结合的混合方法。例如，影响函数可用于识别候选训练点以供进一步检查，然后可使用机制可解释性技术分析这些点以理解底层机制。还有兴趣将影响函数用于主动学习，其中模型选择最有信息量的数据点进行标注，以及用于课程学习，其中训练数据按影响排序以改善收敛。随着模型规模和复杂性的持续增长，对有原则的数据归因方法的需求只会增加，使影响函数成为AI工具库中的基础工具。