可解释性技术是可解释人工智能（XAI）的核心组成部分，该研究领域旨在为人类提供对人工智能算法的智力监督。这些技术聚焦于AI模型所做决策或预测背后的推理过程，使其更易于理解和透明。这满足了用户对自动化决策进行审查的需求，尤其是在安全性和信任至关重要的应用中。可解释性技术应对了机器学习中“黑箱”倾向，即即使AI的设计者也无法解释其为何做出特定决策。
可解释性技术的主要目标是通过提高用户对AI驱动系统推理方式的理解，帮助他们更有效地使用这些系统。它们还可以作为社会性解释权的实现方式，即使在缺乏法律要求的情况下，也能通过建立信任来增强用户体验。这些技术旨在解释已完成的内容、正在执行的内容、接下来将要执行的内容以及这些行动所依据的信息，使用户能够确认和挑战现有知识并产生新的假设。
背景：白箱与黑箱模型
AI中使用的机器学习算法可分为白箱或黑箱模型。白箱模型提供领域专家能够理解的结果，而黑箱模型极难解释，甚至专家也可能无法理解。可解释性技术遵循三个原则：透明性、可解释性和可说明性。
如果从训练数据中提取模型参数以及从测试数据中生成标签的过程能够由方法设计者描述和论证，则该模型是透明的。可解释性描述的是理解模型并以人类可理解的方式呈现决策基础的可能性。可说明性虽被公认为重要，但缺乏共识定义；一种可能性是“对于给定示例，对产生决策有所贡献的可解释域特征的集合”。
总之，可解释性指用户理解模型输出的能力，而模型透明性包括可模拟性（预测的可复现性）、可分解性（参数的直观解释）和算法透明性（解释算法如何工作）。模型功能性侧重于文本描述、可视化和局部解释，这些澄清特定输出或实例而非整个模型。所有这些概念旨在增强AI系统的可理解性和可用性。
特征归因方法
特征归因方法是最广泛使用的可解释性技术之一。它们为输入特征分配重要性分数，指示每个特征对模型预测的贡献程度。例如，在情感分析模型中，特征归因方法可能将“可怕”一词标记为强烈的负面指标。这些方法对于神经网络和其他内部逻辑不透明的复杂模型尤为有用。
常见的特征归因技术包括基于梯度的方法，如显著性图，它计算输出相对于输入的梯度，以及基于扰动的方法，观察输入改变时预测如何变化。这些技术常用于图像识别中以识别最具影响力的像素，或在自然语言处理中突出文本中的关键词。
显著性与可视化技术
显著性技术是特征归因的一个子集，专注于可视化输入中对模型决策最相关的部分。在计算机视觉中，显著性图将热力图叠加在图像上，以显示模型关注的区域。例如，训练用于识别马的模型可能产生突出马身体和腿部的显著性图，而非背景元素。
可视化技术还扩展到理解深度学习模型的内部表示。例如，研究人员可以可视化残差网络中卷积层学习的滤波器，以查看它们检测到的模式，如边缘或纹理。这些方法帮助专家验证模型正在学习有意义的特征而非虚假相关性。
局部与全局解释
可解释性技术可按范围分类：局部解释澄清单个预测，而全局解释描述模型的整体行为。局部解释方法，如LIME（局部可解释模型无关解释），在特定实例周围用更简单、可解释的模型近似复杂模型。这帮助用户理解为何做出特定决策，例如为何贷款申请被拒绝。
全局解释旨在提供模型逻辑的概述，通常通过代理模型或规则提取实现。例如，决策树可以被训练来模仿黑箱模型，提供其决策边界的人类可读表示。这些全局方法对于审计模型的公平性或偏见非常有价值，因为它们揭示了可能被忽视的一般模式。
概念瓶颈模型
概念瓶颈模型是一种特定类型的可解释架构，使用概念级抽象来解释模型推理。这些模型首先从输入预测人类可理解的概念，然后使用这些概念做出最终决策。例如，在医学成像任务中，模型可能首先预测特定病变的存在，然后使用这些预测来诊断疾病。这种方法可应用于图像和文本预测任务。
概念瓶颈模型在医学、国防、金融和法律等领域尤为重要，这些领域理解决策和建立对算法的信任至关重要。通过使中间推理显式化，这些模型允许人类验证模型是否使用合理标准，而非依赖不透明的相关性。
符号回归与白箱方法
许多研究人员认为，至少在监督机器学习中，前进的方向是符号回归，即算法搜索数学表达式空间以找到最适合给定数据集的模型。这种方法产生可被人类检查和理解的显式公式，提供高度透明性。符号回归常用于科学发现中，目标是揭示潜在的物理定律。
具有可解释结构的白箱算法有时能达到高精度。例如，决策树和线性模型天生可解释，通过仔细的特征工程，它们可以与更复杂的模型竞争。这些方法在可解释性为要求的受监管行业中受到青睐。
挑战与局限性
尽管有诸多好处，可解释性技术面临若干挑战。一个主要问题是准确性与可解释性之间的权衡；像大型语言模型这样的复杂模型通常实现更高性能但更难解释。此外，一些技术仅提供近似解释，可能无法捕捉模型推理的全部复杂性。
另一个挑战是误导性解释的可能性。例如，显著性图可能因噪声或对抗性扰动而突出无关特征。此外，可解释性技术本身可能被操纵，因为模型可能被优化以产生看似合理但错误的解释。研究人员继续致力于开发更稳健和可靠的方法。
应用与未来方向
可解释性技术应用于各个领域，包括医疗保健、金融和自主系统。在医学中，临床决策支持系统（CDSS）依赖这些技术帮助医疗专业人员理解和信任基于机器的决策。在金融中，它们用于确保符合法规并检测贷款或信用评分中的偏见。
由美国国防高级研究计划局发起的DARPA XAI项目旨在生产“玻璃箱”模型，这些模型对“人在回路”可解释，而不会大幅牺牲AI性能。该项目推动了该领域的重大进展。未来方向包括为基于Transformer的模型开发可解释性技术，提高解释的保真度，并将可解释性整合到训练过程中，而非作为事后分析。