探测分类器是机器学习可解释性研究中使用的一种诊断工具。它由一个简单的、通常是线性的模型组成，该模型被训练用于从较大神经网络的中间表示（隐藏状态）中预测特定属性或特征。其主要目的不是提高网络的性能，而是测试关于给定概念的信息是否存在于这些表示中，并且是否可以通过线性方式访问。如果探测分类器能够成功地从隐藏状态预测特征，则表明网络已将该信息编码为可通过简单函数恢复的形式。
该技术被广泛用于理解深度学习模型的内部运作，尤其是大型语言模型（LLM）和其他基于Transformer的架构。通过在不同层上训练探测器，研究人员可以绘制信息在网络深度上的处理位置和方式。这种方法已成为机械可解释性领域的标准方法，有助于揭示复杂人工智能系统所执行的不透明计算。
起源与发展
探测分类器的概念源于神经网络可解释性的更广泛领域，并在2010年代中期获得 prominence。该领域的早期工作集中于理解循环神经网络（RNN）和卷积神经网络（CNN）的隐藏层中捕获了哪些信息。MIT CSAIL、斯坦福AI实验室和伯克利AI研究等机构的研究人员是最早系统地将线性分类器应用于内部表示的人之一。
2016年，由Jonas Peters和Yann LeCun（尽管未直接参与探测技术）等研究人员进行的一项里程碑式研究表明，简单分类器可以从词嵌入中提取句法和语义信息。这为更广泛的探测研究奠定了基础。到2018年，该技术已被正式确立为一种独立方法论，Adina Williams等人的论文《What you can cram into a single $&!#* vector》表明，语言属性可以从句子嵌入中解码。
随着BERT和GPT等Transformer模型的兴起，这种方法获得了更多关注。研究人员发现，探测分类器可以揭示这些模型如何编码层级语言结构、事实知识，甚至推理的某些方面。这一时期见证了标准化探测任务和基准的开发，例如SentEval工具包，它为评估句子表示的信息内容提供了通用框架。
方法论
典型的探测实验涉及几个步骤。首先，使用一个训练好的神经网络（通常是大型语言模型）处理一组输入。对于每个输入，记录一个或多个层的隐藏状态激活。这些激活作为探测分类器的输入特征。探测的目标标签是感兴趣的属性，例如词性标签、命名实体类型、情感分数或事实关系。
探测器本身通常是一个简单模型，最常见的是逻辑回归或单层感知器。这种简单性是有意为之：如果线性分类器能达到高准确率，则表明信息以线性可分的方式编码，这是网络已形成清晰、结构化表示的强有力指标。有时会使用更复杂的探测器，如多层感知器，但它们的结论性较弱，因为它们可以学习提取并非直接可访问的信息。
训练探测器涉及标准的监督学习技术。隐藏状态用作特征，目标属性用作标签。探测器在数据子集上训练，并在保留集上评估以衡量其泛化能力。关键指标包括准确率、F1分数，有时还包括互信息。为确保探测器不是简单地记忆训练数据，通常会采用控制任务，其中探测器在随机打乱的标签上训练以建立基线性能。
在语言模型中的应用
探测分类器已被广泛应用于大型语言模型，以研究其语言和事实能力。一个常见应用是探测句法信息，例如模型是否能识别句子的主语或宾语。研究表明，像BERT这样的Transformer在其中间层编码了词性标签和依存关系，这些信息在更深层中变得更加抽象和任务特定。
另一个领域是事实知识探测。研究人员训练探测器从GPT和LLaMA等模型的隐藏状态中预测“首都”或“出生于”等关系。这些研究发现，事实信息通常分布在多个层中，有些事实比其他事实更容易访问。这对理解模型如何存储和检索知识，以及识别潜在故障模式具有重要意义。
探测也被用于研究推理能力的出现。例如，探测可以测试模型的隐藏状态是否编码了多步推理问题中的中间步骤。这一研究方向对于理解链式思维提示和其他旨在从语言模型中引出更稳健推理的技术尤为重要。OpenAI和Anthropic等公司已投资于使用探测分类器作为其安全和对齐工作一部分的可解释性研究。
超越语言：视觉和多模态模型
虽然探测分类器最常与自然语言处理相关联，但它们也应用于其他领域。在计算机视觉中，探测已被用于检查卷积神经网络和视觉Transformer学习到的表示。例如，研究人员训练探测器从ResNet和ViT等模型的隐藏层中检测对象类别、场景类型，甚至颜色或纹理等抽象属性。
在结合视觉和语言的多模态模型中，探测可以帮助确定哪种模态对特定表示有贡献。这对于理解CLIP或Flamingo等模型如何整合图像和文本信息非常有用。探测也已应用于语音模型，可以揭示隐藏状态中是否编码了声学特征或音系类别。
局限性与批评
探测分类器方法并非没有批评者。一个主要限制是探测的成功并不一定意味着网络在其实际计算中使用了该信息。探测可能找到表示空间中存在的线性分隔符，但网络的下游层从未利用它。这有时被称为“探测作为独立模型”问题，其中探测的性能并不反映网络的内部决策过程。
另一个问题是探测复杂性的选择。如果探测过于简单，它可能无法检测以非线性方式编码的信息。如果过于复杂，它可能过拟合虚假模式。研究人员提出了各种解决方案，例如使用控制任务、将探测性能与基线进行比较，以及使用最小描述长度等信息论度量来量化提取信息的复杂性。
此外，探测结果的解释性可能模糊。高探测准确率可能表明信息存在，但它不解释网络如何处理它。这导致了更复杂的可解释性方法的发展，例如因果干预和激活修补，旨在确定特定表示是否对模型的输出具有因果责任。
近期进展与未来方向
近期工作集中于使探测更加严谨和可操作。一个趋势是将“线性探测”与“表示工程”技术结合使用，其中识别并操纵表示空间中概念的方向。这在模型编辑和控制模型行为方面有应用。例如，研究人员表明，通过减去与特定概念相关的向量，可以减少模型产生偏见输出的倾向。
另一个方向是“稀疏探测”的发展，其中探测被限制为仅使用一小部分特征。这可以帮助识别隐藏状态的哪些特定维度负责编码特定属性，从而实现更细粒度的可解释性。Open Panel等工具和Transformers Interpret等库使从业者更容易将探测技术应用于自己的模型。
随着大型语言模型在规模和能力上持续增长，对稳健可解释性方法的需求变得更加迫切。探测分类器可能仍然是可解释性工具箱中的基本工具，补充注意力分析、显著性图和机械可解释性等其他方法。未来研究可能集中于开发更具因果基础的探测，以及将探测技术扩展到具有数十亿参数的极大型模型。
与其他可解释性方法的关系
探测分类器通常与其他可解释性技术一起使用。例如，它们可以与注意力分析结合，以理解模型在做出预测时关注输入的哪些部分。它们也与模型剪枝相关，因为两者都涉及分析网络不同组件的信息内容。在机械可解释性的背景下，探测提供了高层概述，而更详细的电路分析旨在追踪精确的计算。
在工业界，Google DeepMind和Anthropic等公司已发表使用探测分类器研究其模型内部表示的研究。例如，Anthropic关于“Transformer电路”的工作通常使用探测来识别特定注意力头或MLP层中编码了哪些特征。这项研究是确保AI系统安全、可靠并与人类价值观对齐的更广泛努力的一部分。
结论
探测分类器已成为理解神经网络内部表示的重要工具。通过在隐藏状态上训练简单线性模型，研究人员可以深入了解编码了哪些信息以及信息位于何处。尽管存在局限性，它们提供了一种实用且可扩展的方式来探测深度学习的黑箱。随着AI领域的持续进步，探测分类器可能仍将是可解释性的关键技术，帮助弥合神经网络数学运算与其表示的语义概念之间的差距。