集成梯度（Integrated Gradients）是一种用于解释机器学习中深度学习模型预测的技术，尤其适用于神经网络。它为每个输入特征计算一个归因值，表明该特征对模型在特定预测中的贡献程度。该方法由 Mukundarajan、Ankur Taly 和 Qiqi Yan 在 2017 年的一篇论文中提出，并被广泛应用于计算机视觉和自然语言处理等领域的模型解释。
其核心思想是，衡量当输入从中性基线（如零向量或全黑图像）插值到实际输入时，模型输出的变化情况。通过沿这条直线路径累加输出相对于输入的梯度，集成梯度为每个特征提供一个单一的、一致的归因分数。这种方法区别于更简单的基于梯度的方法，后者可能因梯度饱和问题而失效，，即当特征已强烈激活时，梯度可能趋近于零。
公理化基础
集成梯度被设计为满足两个对任何归因方法而言都理想的公理。第一个是敏感性，即如果某个特征在基线与输入之间存在差异，并且单独改变该特征会改变模型的输出，那么该特征应获得非零的归因。第二个是实现不变性，即两个功能等价的模型（即对所有输入产生相同输出的模型，即使其内部计算方式不同）应产生相同的归因。这一性质很重要，因为许多神经网络架构可以有多种实现方式，而用户希望解释与模型行为相关，而非其具体代码。
第三个公理是完整性，也得到满足：所有归因之和等于模型在输入处与基线处输出之差。这提供了一个有用的自检手段，并使归因可直接解释为对输出变化的贡献。
数学定义
对于模型 \(f\)（通常为神经网络），输入 \(x \in \mathbb{R}^n\) 和基线 \(x'\)，第 \(i\) 个特征的集成梯度定义为：
\[ IG_i(x) = (x_i - x'_i) \times \int_{\alpha=0}^{1} \frac{\partial f(x' + \alpha(x - x'))}{\partial x_i} \, d\alpha \]
在实践中，该积分通过沿路径取 \(m\) 个等距点进行离散求和来近似，通常 \(m\) 取值在 20 到 300 之间。基线的选择至关重要；常见的基线包括零向量、训练数据集的均值或输入的模糊版本。对于文本模型，基线可以是全零的嵌入向量。
与其他归因方法的比较
在集成梯度出现之前，常见的归因技术包括梯度饱和（即输入处的原始梯度）和基于遮挡的方法（即扰动输入的部分并测量输出变化）。原始梯度常常失效，因为对于重要但已处于激活函数（如 sigmoid 或 tanh）饱和区域的特征，梯度可能接近零。遮挡方法计算成本高，且对扰动的选择敏感。集成梯度通过沿整个路径累加梯度来解决饱和问题，并且由于只需几次前向和反向传播，计算效率较高，类似于标准反向传播。
另一种流行的方法是 SHAP（SHapley Additive exPlanations），它基于博弈论，提供了一套不同的理论保证，但精确计算成本可能更高。集成梯度因其简单性和速度而常被优先选用，尤其适用于大型模型。
在自然语言处理中的应用
在自然语言处理任务中，集成梯度常用于解释基于Transformer的模型（包括大语言模型）的预测。例如，对于情感分类模型，该方法可以突出句子中哪些词对预测结果朝正面或负面方向影响最大。具体做法是将每个 token 的嵌入视为一个特征，计算嵌入维度上的归因，然后按 token 进行聚合。
研究人员使用集成梯度来调试模型、识别虚假相关性，并验证模型是否关注了相关信息。例如，在问答系统中，归因可以揭示模型是依赖于段落中的正确部分，还是依赖于无关线索。该方法也已应用于序列到序列模型，如机器翻译，可以显示哪些源语言词影响了每个生成的目标语言词。
在计算机视觉中的应用
在计算机视觉中，集成梯度生成显著图，突出图像中最影响模型分类决策的像素或区域。例如，对于在 ImageNet 上训练的模型，一张狗的图像归因图可能会突出狗的脸和身体，而忽略背景。这些图通常以热力图的形式叠加在原始图像上可视化。
该方法已用于分析残差网络架构及其他深度模型，帮助研究人员理解特征如何跨层组合。在医学影像领域，集成梯度也是一种常用工具，其中可解释性至关重要；例如，归因可以显示放射学扫描的哪些部分影响了诊断结果，从而辅助临床医生验证模型决策。
扩展与变体
针对原始集成梯度，已提出了多种扩展方法。期望集成梯度通过对从分布中采样的多个基线取平均，来降低对基线选择的敏感性。集成 Hessian 将思想扩展到二阶导数，以提供特征交互的信息。另一种变体 DeepLIFT 使用不同的反向传播规则，但同样以满足敏感性公理为目标。
对于离散输入（如文本 token），从业者通常先在嵌入层计算归因，再跨维度进行聚合。一些工作还将集成梯度适配到结构化数据（如图），其中路径定义在节点或边特征上。
实际考虑
选择步数 \(m\) 涉及精度与计算量之间的权衡。步数过少可能导致近似噪声较大，而步数过多会增加运行时间。常见的默认值为 \(m = 50\) 或 \(m = 100\)。基线的选择也很重要；对于图像，通常使用全黑图像（全零），但对于使用归一化输入训练的模型，均值像素值可能更合适。对于文本，使用零嵌入向量是典型做法，尽管一些研究建议使用特殊 token（如填充 token）的嵌入。
归因值可以为负，表示该特征将预测推向目标类别之外。常见做法是取绝对值，或分别可视化正负贡献。完整性公理确保所有归因之和等于输出差异，可用于验证实现的正确性。
局限性与批评
尽管集成梯度广受欢迎，但它也存在局限性。基线的选择会显著影响结果，且目前尚无普遍接受的选取规则。该方法假设路径为直线，这可能无法反映模型的真实决策边界。一些研究表明，归因对输入中的微小扰动敏感，这引发了对其鲁棒性的质疑。此外，对于非常深的模型，积分近似可能需要大量步数才能收敛，从而增加计算成本。
另一个批评是，归因是局部的，无法提供对模型行为的全局理解。它们解释单个预测，但不解释模型的整体逻辑。研究人员已提出将集成梯度与其他技术（如模型剪枝或数据增强）相结合，以获得更深入的见解。
与其他可解释性工具的关系
集成梯度是更广泛的可解释性方法生态系统的一部分。它已在多个流行库中实现，包括 PyTorch 的 Captum 库和 AI Explainability 360 工具包。这些库提供了在各种模型架构上计算归因的 API，使该方法对从业者易于使用。该方法也用于人工智能安全与公平性研究，在这些领域，理解模型决策对于审计和监管至关重要。
在生成式人工智能的背景下，集成梯度已被应用于解释诸如稳定扩散和 GPT 风格模型等模型的输出，尽管高维输出空间带来了挑战。对于大语言模型，可以在词汇表或 token 嵌入上计算归因，以帮助识别提示中的哪些部分驱动了特定响应。
未来方向
随着模型规模和复杂性的增长，对高效且可靠的归因方法的需求也在增加。集成梯度仍然是一项基础技术，但 ongoing 研究旨在提高其计算效率、降低对超参数的敏感性，并将其扩展到新的模型类型。此外，人们也对开发能够提供因果解释而非仅仅相关性解释的方法感兴趣，这将需要将归因与基于干预的方法相结合。
总体而言，集成梯度已成为机器学习可解释性工具箱中的标准工具，因其理论保证和实际易用性而备受重视。它在学术界和工业界的广泛采用，反映了人工智能系统透明度这一更广泛趋势，这一趋势既受伦理考量驱动，也受监管要求推动。