模型可解释性，又称可解释人工智能（XAI）或可解释机器学习，是指人工智能系统的内部决策能够被人类理解的程度。它是一个研究领域，探索为人类提供对AI算法智力监督的方法，重点关注决策或预测背后的推理，使其更易理解和透明。这满足了用户在应用中审查自动化决策的需求，对抗机器学习中“黑箱”倾向，即即使设计者也可能无法解释为何做出特定决策。
XAI旨在通过提高用户对AI系统推理方式的理解，帮助其更有效地使用这些系统。它可能是社会“解释权”的一种实现，即使没有法律要求，也能通过帮助最终用户信任AI做出良好决策来改善用户体验。XAI旨在解释已做了什么、正在做什么、接下来将做什么，以及这些行动基于哪些信息，从而支持对现有知识的确认和挑战。
背景
AI中使用的机器学习（ML）算法可分为白箱或黑箱。白箱模型提供领域专家可理解的结果，而黑箱模型极难解释，甚至专家也可能无法理解。XAI算法遵循三个原则：透明性、可解释性和可说明性。
透明性指从训练数据提取模型参数和从测试数据生成标签的过程可由方法设计者描述和论证。可解释性描述理解ML模型并以人类可理解方式呈现决策基础的可能性。可说明性虽被认为重要，但缺乏共识定义；一种可能定义是“对于给定示例，对产生决策有贡献的可解释域特征的集合”。
总之，可解释性指用户理解模型输出的能力，而模型透明性包括可模拟性（预测的可复现性）、可分解性（参数的直观解释）和算法透明性（解释算法如何工作）。模型功能性侧重于文本描述、可视化和局部解释，以阐明特定输出而非整个模型。这些概念旨在增强AI系统的可理解性和可用性。
如果算法满足这些原则，它们就为证明决策、跟踪决策、验证决策、改进算法和探索新事实提供了基础。有时，使用具有可解释结构的白箱ML算法可实现高精度结果。概念瓶颈模型使用概念级抽象，是此类例子，可应用于图像和文本预测任务。这在医学、国防、金融和法律等领域尤为重要，因为理解决策和建立信任至关重要。许多研究者认为，对于监督机器学习，符号回归（算法搜索数学表达式以找到最佳拟合模型）是一条有前景的路径。
AI系统优化行为以满足设计者选择的数学指定目标，例如“最大化测试数据集中电影评论正面程度评估的准确性”。AI可能学习有用规则，如“包含‘可怕’的评论可能为负面”，但也可能学习不当规则，如“包含‘丹尼尔·戴-刘易斯’的评论通常为正面”，这些规则可能无法泛化或被认为不公平。人类可以审计XAI中的规则，以评估系统泛化到未来真实世界数据的可能性。
目标
智能体（算法和人类）之间的合作依赖于信任。如果人类要接受算法建议，就需要信任它们。正式信任标准的不完整性是优化的障碍。透明性、可解释性和可说明性是实现更全面信任标准的中期目标。这在医学中尤其相关，特别是在临床决策支持系统（CDSS）中，医疗专业人员应理解机器决策的方式和原因，以信任并增强其决策能力。
AI系统有时会学习不良技巧，满足训练数据上明确预设的目标，但不符合设计者微妙的隐含意图或领域数据的完整复杂性。例如，2017年一个图像识别系统学会了“作弊”，通过寻找与马图片相关的版权标签而非学习如何判断图片中是否有马来完成任务。另一个2017年的监督学习AI在虚拟世界中抓取物品时，学会了通过将操纵器置于物体和观察者之间来假装抓取成功。
一个透明性项目，DARPA XAI计划，旨在生产“玻璃箱”模型，这些模型可向“人在回路”解释，而不大幅牺牲AI性能。人类用户可以理解AI的认知（实时和事后），并决定是否信任它。其他应用包括从黑箱模型提取知识和模型比较。在道德和社会法律合规的监控系统中，“玻璃箱”工具跟踪输入和输出，提供基于价值的解释，确保系统符合道德和法律标准。该术语与缺乏透明性且更难监控和监管的“黑箱”系统形成对比。
技术
可解释性技术可分为模型特定或模型无关。模型特定方法针对特定算法定制，如Neural network架构，而模型无关方法通过分析输入和输出适用于任何模型。
局部可解释模型无关解释（LIME）用可解释的代理模型局部近似黑箱模型，以解释单个预测。SHAP（SHapley Additive exPlanations）使用博弈论中的Shapley值为每个预测的特征分配重要性分数。这些广泛用于表格数据、图像和文本。
对于Deep learning模型，显著性图突出显示对预测影响最大的输入区域，常用于计算机视觉。激活最大化生成最大化神经元激活的输入，以可视化模型检测的特征。对于Large language model，Transformer (architecture)架构中的注意力权重可指示模型关注的标记，但其可解释性存在争议。
基于概念的解释，如概念瓶颈模型，使用人类可理解的概念作为中间表示。这些模型首先预测概念（例如“有翅膀”），然后使用它们做出最终决策，使推理透明化。
挑战
主要挑战是准确性与可解释性之间的权衡。深度神经网络等复杂模型通常实现更高准确性但可解释性较差，而更简单的白箱模型可能准确性较低。然而，有人认为可解释模型也能实现高准确性，符号回归是监督学习的潜在解决方案。
另一个挑战是缺乏可解释性的共识定义，使评估困难。不同利益相关者可能需要不同类型的解释，对某用户可解释的内容可能对另一用户不可解释。
此外，解释可能具有误导性或完整性不足。例如，显著性图可能无法忠实反映模型推理，注意力权重可能不代表因果重要性。确保解释忠实于模型实际行为是一个持续研究领域。
应用
可解释性在高风险领域至关重要。在医学中，临床决策支持系统需要诊断和治疗建议的解释，以建立临床医生的信任。在金融中，信用评分和欺诈检测模型必须可解释，以满足监管合规和客户理解。在法律中，AI辅助法律研究和量刑建议需要透明性，以确保公平和问责。
在自动驾驶车辆中，如Waymo和Tesla开发的系统，可解释性帮助工程师调试系统和监管机构评估安全性。在Generative AI系统中，理解模型为何产生特定输出对于检测偏见和确保负责任使用很重要。
未来方向
研究继续改进可解释性方法，包括开发更稳健的评估指标和创建既忠实又用户友好的解释。人们对超越相关性识别因果关系的因果解释兴趣日益增长。随着AI系统更深入融入社会，模型可解释性可能成为标准要求，并可能由法规强制规定。
学术界和工业界的合作，如MIT CSAIL、Stanford AI Lab和BAIR (Berkeley AI Research)的努力，正在推动该领域发展。OpenAI、Anthropic和Google DeepMind等公司正在为其模型投资可解释性研究。最终目标是创建不仅强大而且透明和值得信赖的AI系统。