可解释人工智能，通常缩写为XAI，是人工智能的一个子领域，致力于使模型的内部运作或输出对人类用户可理解。对可解释性的需求随着从简单、天然可解释的模型（如线性回归和决策树）向复杂神经网络架构的转变而增长，这些架构的预测来自数百万或数十亿个学习参数以人类读者无法直接追踪的方式相互作用，这一局限性被广泛称为黑箱问题。XAI方法旨在通过生成解释来弥合这一差距，这些解释要么内置于模型设计中，要么事后生成，而不必完全说明模型内部计算的机制。
动机
对可解释性的需求来自多个方向。信贷、医疗保健和刑事司法等领域的监管机构日益要求影响个人的自动化决策必须是可解释的，这一原则在欧盟的《通用数据保护条例》和欧盟人工智能法案中得到了呼应。开发者使用解释来调试模型并捕捉虚假相关性，例如模型从背景地形而非动物本身学习识别动物。解释还支持检测和纠正算法偏见的努力，并有助于建立用户对用于重大决策系统的信任。
技术
XAI方法通常分为两大类。天然可解释的模型，如决策树、规则列表和线性模型，在结构上是透明的，但在复杂任务上的准确性往往不如深度学习。事后方法则将训练好的模型视为固定不变，尝试解释单个预测或其周围的一般行为。广泛使用的事后技术包括显著图，它突出显示对卷积神经网络输出影响最大的输入区域，如图像中的像素；LIME（局部可解释模型无关解释），它用更简单的替代模型近似复杂模型的局部行为；以及SHAP（SHapley加法解释），它借用合作博弈论中的博弈论框架，以满足某些公平性属性的方式将预测归因于其贡献的输入特征。这些方法在模型无关的意义上适用，因为它们可以应用于多种类型的机器学习系统，而无需访问内部权重。
局限性与可解释性的关系
事后解释方法因有时会产生看似合理但不忠实的模型实际推理描述而受到批评，因为它们近似而非直接揭示所涉及的计算。这一局限性推动了并行、更雄心勃勃的研究方向，即机制性可解释性，它旨在逆向工程网络实际学习的电路和特征，而不是从外部近似其行为；这两个领域密切相关，但追求不同的证据标准。为经典计算机视觉和表格模型设计的XAI方法已被证明难以适应大型语言模型系统，其输出是自由形式的文本而非固定的类别集合，这已将许多前沿可解释性研究转向可解释性风格的电路分析，以及简单地要求模型生成思维链作为代理解释，尽管这种解释并不总是忠实地反映底层计算。