探针分类器是训练于神经网络内部表示之上的简单线性模型，用于判断特定信息是否编码于这些表示之中。其核心思想是，如果线性分类器能够从网络层的激活中成功预测某一特定属性（如词性、情感或事实知识），则该信息很可能以线性可分离的形式存在于该层并可供访问。这一技术是人工智能与机器学习领域可解释性研究的基石，为理解深度学习模型原本不透明的计算过程提供了一扇窗口。
该方法与更复杂的非线性探针形成对比。通过将探针限制为线性函数，研究人员旨在测量直接且线性可用的信息，而非仅能通过复杂非线性变换提取的信息。这一区分对于理解模型内部如何表示知识至关重要，区别于强大解码器理论上能提取的内容。探针分类器广泛应用于神经网络模型，包括基于Transformer的大型语言模型，以探究其语言与事实能力。
历史发展
探针分类器的概念源于2010年代中期更广泛的神经网络分析领域。最早有影响力的工作之一来自多伦多大学及其他机构的研究人员，他们在2016年使用线性分类器分析用于语言建模的循环神经网络所学到的表示。他们证明这些网络以线性可分离的方式编码句法与语义信息，这一发现引发了对该技术的广泛兴趣。
2017年和2018年的后续工作，特别是来自卡内基梅隆大学和麻省理工学院计算机科学与人工智能实验室团队的研究，扩展了该方法论。研究人员开发了标准化探针任务，如预测词性标签、命名实体乃至句子长度，以系统评估网络不同层编码的内容。这些研究通常发现，较低层倾向于捕捉更表面的特征，而较高层编码更抽象且任务特定的信息。
方法论与设计
标准探针程序涉及几个步骤。首先，选择一个预训练神经网络，并记录其对一组输入示例的激活。这些激活通常从特定层或层组中提取。其次，在这些激活上训练一个线性分类器（通常是逻辑回归或单层感知机）以预测目标标签。目标标签来自外部数据集，如带有语法标注的语料库或带有已知答案的问题集。
探针设计的一个关键方面是控制任务的选择。为确保探针并非仅利用琐碎的统计规律，研究人员通常在一个标签被随机打乱的控制数据集上训练探针。如果探针在控制集上的表现不优于随机水平，则表明原始表现归因于目标信息的真实编码。另一种常见控制是直接在输入嵌入（如词向量）上训练探针，以与网络学到的表示进行比较。
线性约束是区分探针与其他可解释性方法的特征。线性探针的形式为\( f(x) = Wx + b \)，其中\( x \)是表示向量，\( W \)是权重矩阵，\( b \)是偏置项。训练目标通常是分类任务中最小化交叉熵损失。该模型的简单性意味着其成功表明表示本身以超平面分离目标类别的方式组织。
在语言模型中的应用
探针分类器已成为分析大型语言模型的标准工具。例如，研究人员使用探针表明GPT-2和BERT等模型在其中间层编码关于主谓一致、共指乃至世界知识的信息。2019年一项著名研究发现，线性探针能从Transformer中间层的激活中高精度预测句子是否语法正确，表明这些模型隐式学习语法规则。
在事实知识方面，探针被用于调查模型在网络的何处存储特定事实。例如，Anthropic和Google DeepMind的研究人员在2022年使用探针分类器定位编码国家首都或书籍作者的层。这一研究方向对模型编辑和可解释性具有意义，因为它可能允许对模型知识进行针对性修改而无需完全重训练。
探针也应用于多语言模型。研究人员在mBERT等模型的表示上训练线性探针，表明句法结构以语言无关的方式跨不同语言编码。这一发现支持多语言Transformer发展出共享抽象表示空间的观点，这是跨语言迁移学习的关键见解。
局限性与批评
该方法并非没有批评者。一个主要担忧是线性探针的成功并不一定意味着网络使用该信息完成其主要任务。信息可能存在但未被使用，或是其他计算的副产品。为解决此问题，研究人员开发了因果探针方法，涉及干预网络激活以观察探针预测是否影响模型输出。然而，这些方法更复杂且使用较少。
另一个局限性是探针过拟合的风险。如果探针过于复杂或在过少示例上训练，可能记忆噪声而非检测真实结构。这就是为何线性探针更受青睐，因其参数较少且不易过拟合。然而，即使线性探针在表示空间高维且训练数据稀疏时也可能产生误导。
由Aleksander Madry及其同事等研究人员阐述的一个相关批评是，探针可能过于容易，，它们可能找到线性可分离性，这仅是表示几何的伪影而非有意义的语义特征。例如，探针可能基于一个与标签相关的单一主导维度区分两个类别，而未捕捉概念的细微结构。这促使最小描述长度探针的发展，以更原则化的方式衡量探针提取的信息量。
与其他可解释性方法的关系
探针分类器是神经网络可解释性更广泛工具包的一部分。它们常与激活最大化（寻找最大化激活特定神经元或层的输入）和特征可视化（生成表示网络所寻找内容的图像）进行比较。与这些主要用于计算机视觉模型的方法不同，探针更通用，已成功应用于文本、音频和图数据。
另一种相关方法是线性读出，本质上与探针分类器相同，但有时用于强化学习或控制任务场景。在这些设置中，线性读出可用于从智能体的内部表示解码其状态，提供关于智能体对其环境所学内容的见解。
探针还与表示学习理论交叉。线性探针的成功常被解释为表示对目标任务线性可分离的证据，这是下游任务的理想属性。这激发了鼓励线性可分离性的训练目标研究，如对比学习和某些类型的自编码器。
近期进展与未来方向
近期工作聚焦于使探针更稳健和可解释。一个方向是迭代零空间投影，它移除探针已提取的信息，允许研究人员在同一表示中找到多个独立特征。该方法于2021年引入，可揭示单层在正交子空间中编码多个不同概念。
另一进展是在机制可解释性背景下使用探针。OpenAI及其他实验室的研究人员使用线性探针识别特定电路，，执行特定功能的神经元组。通过结合探针与因果干预，他们能够描绘信息如何流经Transformer以计算序列中的下一个词元。
该领域还向动态探针发展，即在不同时间步或输入的不同部分（如句子中的单个词元）应用探针。这允许对信息随时间处理进行更细粒度的分析。例如，探针可能显示模型早期编码句子主语，但仅在后期纳入动词时态。
随着大型语言模型规模和能力的持续增长，探针分类器仍是确保其安全性和可靠性的重要工具。通过理解这些模型知道什么以及如何表示，研究人员能更好地检测偏见、事实错误和潜在故障模式。该技术很可能在未来多年内保持为可解释性工具箱中的标准方法。
实践考虑
实现探针分类器时，若干实践细节至关重要。层选择是关键：探测每一层可能计算成本高昂，因此研究人员常采样子集或基于模型架构使用启发式方法。探针训练集的大小也很重要；通常需要数千示例以获得可靠结果，但这取决于类别数量和表示维度。
另一个考虑是表示的归一化。一些研究人员在训练探针前归一化激活（如使用层归一化），这可提高性能和稳定性。其他人使用原始激活，认为归一化可能移除有用信息。选择通常取决于具体模型和任务。
最后，报告探针性能时需使用适当基线。常见基线是多数类分类器，即始终预测最频繁标签。另一种是如前所述的随机打乱标签上训练的探针。没有这些基线，难以解释探针的绝对准确率。该领域已就最佳实践达成共识，但关于如何最严谨地从探针结果得出结论仍存在持续争论。