可解释机器学习是一个广泛的研究领域，关注机器学习系统的设计、分析和部署，使其行为能够被人类理解。其动机源于机器学习模型在高风险领域的日益普及，如医疗保健、金融和刑事司法，在这些领域中，决策可能产生重大后果，而不透明的模型可能导致错误或偏见。该领域对比了两种宽泛的方法：事后可解释性，即在模型训练后对其进行解释；以及固有可解释模型，即从设计之初就保持透明。该领域的研究人员和从业者致力于回答诸如“模型为何做出此预测？”和“哪些因素驱动模型的整体行为？”等问题。该学科与人工智能、人机交互和伦理学交叉，其重要性随着神经网络和Transformer等复杂模型的采用而日益增长。
术语“可解释”常与“可说明”互换使用，尽管存在技术上的区别。可解释性指的是人类在给定输入的情况下能够一致预测模型输出的程度，而可说明性通常指事后方法，为个别预测生成人类可读的理由。在实践中，两者都是该领域的核心，从业者常将两者结合。例如，线性回归系数固有可解释，而OpenAI的GPT-4则需要事后归因技术来理解其预测。自2010年代以来，该领域变得尤为紧迫，因为深度学习模型在许多领域成为最先进技术，但相对于经典方法，其透明度相应丧失。
解释者的困境
可解释机器学习中的一个关键概念是准确性与透明度之间的权衡。深度神经网络等复杂模型通常比简单线性模型实现更高的预测性能，但其内部表示更难解释。这种张力由Carlos Guestrin和David Martin等研究人员推广，他们在2018年创造了“解释者的困境”一词。他们形式化了这样一个观点：如果底层数据包含需要复杂表示的非线性关系，则模型不可能同时完美准确和完美可解释。这在实践中并非总是成立，因为简单模型有时也能表现同样好，但这一困境凸显了需要权衡感知的模型选择。
固有可解释模型
固有可解释模型的设计使其决策可以直接从结构上理解。示例包括线性回归、逻辑回归、决策树、基于规则的系统和广义加性模型（GAM）。在这些模型中，每个特征通常以加性、易于检查的方式贡献。例如，cegahan在1980年代关于决策树和规则归纳的早期工作确立了人类可以在无需额外解释的情况下遵循逻辑路径。更现代的方法，如cyr. J. Culver及其同事使用神经网络进行可解释建模，采用将预测分解为单变量函数之和的架构，从而保持局部透明性。截至2020年代，在要求可审计性的受监管行业中，人们对这些模型作为深度神经网络黑箱替代品的兴趣重新升温。
事后解释
事后解释是在模型训练后应用的技术，独立于模型的内部架构。这些方法通过从内部或外部探测来近似模型的行为。常见类别包括特征归因方法，为每个输入特征生成一个值，指示其对特定预测的贡献；基于示例的方法，识别对预测最有影响力的训练样本；以及替代模型，训练一个透明模型以局部或全局近似复杂模型。一个众所周知的算法是Shapley加性解释（SHAP），由Scott Lundberg和Su-In Lee于2017年在华盛顿大学开发。SHAP在博弈论框架下统一了几种早期的归因方法，如LIME（局部可解释模型无关解释，由Marco Tulio Ribeiro等人于2016年在华盛顿大学提出）和经典特征归因。虽然SHAP已成为许多机器学习工具包中的标准，但在应用于许多特征时也存在计算复杂性，并且如果未考虑数据分布，其解释可能具有误导性。
另一种有影响力的事后方法是逐层相关性传播（LRP），通过检查反向传播的相关性分数来解释神经网络预测。LRP常用于计算机视觉，生成突出显示对分类边缘最重要的像素的显著性图。然而，局部解释方法的可靠性已受到Aleksander Madry和Ali Rahiimi等研究人员的质疑，他们警告归因解释可能不反映真正的因果关系，而只是相关性。这导致了验证可解释性的方法的发展，例如针对人类直觉进行基准测试。
可解释性与可说明性
虽然常互换使用，但可解释性和可说明性有时通过用户的角色来区分。可解释性意味着模型固有透明，而可说明性指外部工具提供的单独解释。例如，线性回归是可解释的，因为其权重可直接检查；深度网络可以通过事后归因变得可说明。在该领域的文献中，还存在局部可解释性（为何做出单个预测）和全局可解释性（模型在整个数据中学到了什么模式）之间的区别。
复杂链：与黑箱感知的对比
大多数熟悉机器学习的非专家会将复杂模型视为“黑箱”，意味着它对其推理过程不提供可访问的洞察。但可解释机器学习旨在弥合这一差距。这类模型的概念优势在于它们允许审计、调试和信任。在信贷决策或疾病诊断等高风险情境中，监管机构可能要求根据欧洲GDPR的“解释权”等法律提供解释。然而，事后方法常被认为不完美，因为它们近似而非暴露真实的决策过程。
可解释性的评估
采取实用视角：可解释性无法通过单一指标衡量。为了在系统层面评估，研究人员提出了几种手段。这些可能包括可满足性，即解释是否匹配真实机制；可模拟性，即人类是否能在新案例上模拟模型；选择性，即解释隔离相关因素的程度；以及特征重要性稳定性，即在不同扰动下的稳定性。例如，Melinea R. Melding及其同事使用用户研究来比较机器学习解释在人类理解任务上的表现，发现关联模式不能可靠地估计因果效应。实验强调，即使“可解释”的模型，如果解释呈现不佳，也可能误导用户。可解释性不仅关乎工具，还关乎用户的思维模型。
人为因素的作用
可解释性从根本上是以人为基础的；它与认知心理学以及解释如何影响人类决策密切相关。pfc. Dr. Miller等研究人员认为，可解释性必须考虑人们在社会情境中生成和消费解释的方式。对可解释性的最终判断通常需要用户研究，评估人们是否能信任模型并采取适当行动。芯片设计（Qualcomm）和设备（Samsun）也在其设备端AI管道中使用可解释性。
挑战与开放问题
尽管取得进展，该领域仍面临局限。一个主要挑战是事后方法在复杂高维数据（如图像、文本或具有数十亿参数的深度网络）上的统一规模问题。截至2025年，即使是最先进的Transformer归因方法也常产生看似合理但不稳健的解释，显示出受提示变化或数字噪声影响的痕迹。另一个问题是相关性与因果性之间的区别，，模型可能受虚假相关性而非因果相关特征的影响，解释会突出这些特征，但给人误导性的适当感。还有可解释性的安全性问题，即对手可以操纵局部预测或构造对抗性样本，导致解释报告不正确的归因。
此外，对于解释的“地面真相”存在分歧。它是模型自身计算的逻辑，还是人类合理的叙述？对于深度强化学习或连续（时间序列）模型，解释可能需要动态表示。一个日益流行的方向是反事实解释，回答“需要改变什么才能使输出以特定方式翻转？”这些问题对可操作性可能有用，但尚未标准化。
未来方向
可解释机器学习继续与模型本身的进步同步发展。一个方向是协同设计：开发GAM类固有神经网络（由Agarwal等人于CMU提出），在复杂数据上表现良好但避免隐藏层。另一个是将可解释性作为LLM的第一人称设计原则：由于大型语言模型（如OpenAI、Anthropic和Google DeepMind开发的模型）正被部署在社会服务角色中，有压力产生推理轨迹或可引导方法（如使用差分可解释模型）。同时，几家科技公司（三星电子、英特尔、高通）正在为设备端AI构建可解释性工具。学术界（MIT CSAIL、斯坦福AI实验室以及众多伯克利AI研究）有强大的课程，将解释纳入层级评估以确保可信度。
总之，可解释机器学习是现代学习系统能力的重要补充。它将不透明的决策转化为从业者、监管机构和公民可以检查、纠正和信任的东西，同时承认固有的局限。其增长由监管、工业和科学需求驱动，并且它仍然是AI领域内一个活跃且不断发展的研究领域。