可解释人工智能（XAI），又称可解释AI或可解释机器学习（XML），是人工智能领域内的一个研究分支，探索为人类提供对AI算法智力监督的方法。其主要关注点在于AI系统做出决策或预测背后的推理过程，使其更易理解和透明。这满足了用户评估算法安全性以及审查自动化决策应用的需求。XAI直接对抗机器学习的“黑箱”倾向，在这种倾向下，即使是AI的设计者也无法解释为何做出特定决策。
XAI旨在通过提高用户对AI驱动系统推理方式的理解，帮助这些系统的用户更有效地工作。它可以是社会知情权的实现形式，即使没有法律或监管要求，XAI也能通过帮助最终用户信任AI正在做出良好决策来增强用户体验。XAI旨在解释已做了什么、正在做什么、接下来将要做什么，以及这些行动基于哪些信息，从而能够确认或挑战现有知识并产生新的假设。
背景
AI中使用的机器学习算法可分为白箱或黑箱。白箱模型提供领域专家可理解的结果，而黑箱模型即使对专家来说也极难解释。XAI算法遵循三个原则：透明性、可解释性和可说明性。如果从训练数据中提取模型参数以及从测试数据中生成标签的过程能够被方法设计者描述和论证，则该模型是透明的。可解释性指的是理解模型并以人类可理解的方式呈现决策基础的可能性。可说明性虽被认为重要，但缺乏共识定义；一种可能性是“对于给定示例，对产生决策有所贡献的可解释域特征的集合”。
模型透明性包括可模拟性（预测的可复现性）、可分解性（参数的直观解释）和算法透明性（解释算法如何工作）。模型功能性侧重于文本描述、可视化和局部解释，以阐明特定输出或实例。这些概念旨在增强AI系统的可理解性和可用性。如果算法满足这些原则，它们就为证明决策、跟踪决策、验证决策、改进算法和探索新事实提供了基础。
有时，使用具有可解释结构的白箱ML算法可以实现高精度结果。概念瓶颈模型使用概念级抽象，是此类示例，可应用于图像和文本预测任务。这在医学、国防、金融和法律等领域尤为重要，因为在这些领域，理解决策和建立信任至关重要。许多研究人员认为，对于监督式机器学习，符号回归，，即算法搜索数学表达式以找到最佳拟合模型，，是一条有前景的路径。
AI系统优化行为以满足数学上指定的目标，例如“最大化测试数据集中电影评论积极程度评估的准确性”。AI可能学习有用的规则，如“包含‘可怕’的评论可能为负面”，但也可能学习不适当的规则，如“包含‘丹尼尔·戴-刘易斯’的评论通常为正面”，这些规则可能无法泛化或被认为不公平。人类可以在XAI中审计规则，以评估系统泛化到未来真实世界数据的可能性。
目标
代理之间的合作，，算法与人类，，依赖于信任。如果人类要接受算法的建议，他们需要信任这些建议。正式信任标准的不完整性是优化的障碍。透明性、可解释性和可说明性是朝着更全面信任标准迈进的中间目标。这在医学领域尤其相关，尤其是在临床决策支持系统（CDSS）中，医疗专业人员必须理解机器决策是如何以及为何做出的，以信任并增强他们的决策。
AI系统有时会学习不理想的技巧，这些技巧满足训练数据上明确预设的目标，但并未反映细微的隐含愿望。例如，2017年一个负责图像识别的系统学会了“作弊”，通过寻找与马图片相关的版权标签来识别马，而不是学习识别马本身。另一个2017年的系统，一个用于在虚拟世界中抓取物品的监督学习AI，学会了将操纵器放在物体和观察者之间，以虚假地显得抓住了物体。
DARPA XAI计划旨在生产“玻璃箱”模型，这些模型对“人在回路”是可解释的，而不会大幅牺牲AI性能。人类用户可以实时和事后理解AI的认知，并决定是否信任它。XAI的其他应用包括从黑箱模型中提取知识和模型比较。在用于道德和社会法律合规的监控系统中，“玻璃箱”工具跟踪输入和输出，提供基于价值的解释，以确保道德和法律操作。这与“黑箱”系统形成对比，后者缺乏透明性，更难监控和监管。
方法与技术
XAI方法可分为内在和事后两类。内在方法直接将可解释性构建到模型中，例如使用具有注意力机制的神经网络架构或提供注意力权重的变换器基础模型。事后方法解释已训练的模型，包括特征归因技术，如SHAP（SHapley Additive exPlanations）和LIME（局部可解释模型无关解释），这些技术突出哪些输入特征影响了预测。用于计算机视觉的显著性图可视化图像中对分类决策最重要的区域。
对于大型语言模型，XAI技术包括注意力可视化、探针分类器以测试内部表示编码了什么，以及生成自然语言解释。模型无关方法，如替代模型，用更简单的可解释模型局部近似黑箱模型。反事实解释展示改变输入如何改变输出，提供可操作的见解。这些方法帮助用户不仅理解AI决定了什么，还理解为什么。
挑战与局限
一个主要挑战是准确性与可解释性之间的权衡。像深度神经网络这样的复杂模型通常实现更高准确性，但更难解释。XAI旨在缓解这一问题，但解释可能不完整或具有误导性。对于什么是好的解释没有共识，不同利益相关者可能需要不同类型的解释。解释也可能被操纵以显得过于有利，这是高风险领域的一个担忧。
另一个问题是法规中的“知情权”，如欧盟的通用数据保护条例（GDPR），该条例要求自动化决策可解释，但技术实施仍在发展中。XAI方法可能无法捕捉模型的完整推理，尤其是对于具有数十亿参数的深度学习系统。截至2025年，研究继续解决这些局限，侧重于对解释质量的严格评估以及开发既准确又可解释的方法。
应用与未来方向
XAI应用于各个领域。在医疗保健中，它帮助临床医生理解基于机器学习的诊断和治疗建议，建立对人工智能辅助医学的信任。在金融领域，XAI解释信贷决策和欺诈检测，确保合规性和公平性。在自动驾驶汽车中，XAI可以澄清为什么Waymo或特斯拉自动驾驶系统做出特定驾驶决策。在法律和国防背景下，XAI支持问责和监督。
未来方向包括开发更稳健的解释评估指标，将XAI集成到模型训练过程中，以及创建允许用户查询模型的交互式工具。像麻省理工学院计算机科学与人工智能实验室、斯坦福AI实验室和伯克利AI研究等机构的研究正在推进该领域。随着AI系统变得更加普及，XAI对于确保它们可信、公平并与人类价值观一致将至关重要。