在人工智能（AI）中，尤其是机器学习领域，消融（ablation）是指移除AI系统的一个组成部分。消融研究旨在通过移除该组成部分，然后分析系统由此产生的性能，来确定该组成部分对AI系统的贡献。该术语是生物学中的类比，特指移除生物体组成部分的操作，并且尤其用于人工神经网络的分析，类比于脑部消融手术。其他类比还包括神经系统，例如果蝇和脊椎动物大脑的神经系统。
消融研究要求系统表现出优雅降级（graceful degradation）特性：即使某些组成部分缺失或退化，系统也必须继续运行。根据一些研究者的观点，消融研究已被视为一种便捷的技术，用于调查人工智能及其对结构损伤的耐久性。它也被用于研究Newell的Soar认知模型中哪些知识结构以及它们如何对认知做出贡献。
消融研究在受控环境中破坏或移除某些组成部分，以调查系统故障的所有可能结果；这表征了每个操作如何影响整体系统性能和能力。消融过程可用于测试执行语音识别、目标检测和机器人控制等任务的系统。
历史
该术语归功于人工智能创始人之一艾伦·纽厄尔（Allen Newell），他在1975年发表的1974年语音识别教程中使用了该术语。该术语是对生物学中消融的类比。其动机在于，虽然各个组成部分是经过设计的，但单个组成部分对整体系统性能的贡献并不清晰；移除组成部分使得这种分析成为可能。纽厄尔将人脑与人工计算机进行了比较。基于这一思想，纽厄尔将两者都视为知识系统，而对两者都可以执行诸如消融之类的程序来测试某些假设。
方法论
消融研究通常涉及系统地移除或禁用模型的特定部分，例如层、神经元或注意力头，然后测量在基准任务上性能的变化。这个过程通常会对每个组成部分重复进行，以构建一张地图，显示哪些部分是必需的，哪些是冗余的。在深度学习中，消融可以应用于诸如残差连接、批归一化或随机失活层等组成部分。例如，消融研究可能会从变换器模型中移除多头注意力机制，以观察其在语言任务上的性能下降多少，从而揭示该机制的重要性。
应用
消融在机器学习研究中被广泛用于验证新架构的设计。当研究团队引入一个新的组成部分，例如新的损失函数或位置编码时，他们通常会进行消融研究，以证明该组成部分对观察到的改进负责。这是在主要会议上发表的论文中的标准做法。在目标检测和语音识别中，消融有助于识别模型的哪些特征对准确性至关重要。在神经网络中，消融也可用于理解各个层或过滤器的作用，类似于神经科学家损伤大脑区域以研究其功能的方式。
用于解除大语言模型审查
术语“abliteration”已被创造出来，指利用消融来解除大语言模型审查的过程，通过修改内部功能以完全消除拒绝行为，同时保留模型的其余功能。该词是一个混成词，结合了“ablation”（消融）和“obliteration”（抹除）。这一技术已在由OpenAI、Anthropic和Google DeepMind等组织开发的大语言模型背景下引起关注。通过识别并移除触发拒绝的特定组成部分，研究人员可以创建能够响应更广泛提示的模型，尽管这引发了伦理和安全方面的担忧。
与其他概念的关系
消融与其他模型分析技术相关但又有区别。特征消融特指移除输入特征而非内部组成部分。消融也类似于灵敏度分析，但侧重于结构移除而非参数扰动。在认知和人工智能的背景下，消融研究已被用于测试知识组织方式的理论，如Soar方面的工作所示。优雅降级的概念是核心，这意味着一个设计良好的系统在移除一个部分时不应灾难性失败，这是健壮AI的一个理想属性。
局限性
消融研究存在局限性。移除一个组成部分可能导致其他组成部分进行补偿，从而使隔离真正贡献变得困难。结果也依赖于特定的任务和数据集。在像变换器这样的复杂模型中，组成部分之间的交互可能是非线性的，因此移除一个部分的效果可能不是加性的。尽管存在这些挑战，消融仍然是AI研究中实用且广泛使用的工具。