プロービング分類器は、ニューラルネットワークの内部表現に基づいて訓練された単純な線形モデルであり、特定の情報がそれらの表現に符号化されているかどうかを判定するために用いられる。核となる考え方は、線形分類器がネットワーク層の活性化から特定の特性（品詞、感情、事実知識など）をうまく予測できるならば、その情報はその層において線形分離可能な形で存在し、アクセス可能である可能性が高いというものである。この手法は、Artificial intelligenceおよびMachine learningにおける解釈可能性研究の基盤であり、Deep learningモデルの不透明な計算を覗く窓を提供する。
この手法は、より複雑な非線形プローブとは対照的である。プローブを線形関数に制限することで、研究者は精巧な非線形変換によってのみ抽出できる情報ではなく、直接的にかつ線形的に利用可能な情報を測定することを目指す。この区別は、モデルが知識を内部的にどのように表現するかを理解する上で重要であり、強力なデコーダーが理論的に抽出できるものとは異なる。プロービング分類器は、Neural networkモデル、特にTransformer (architecture)ベースのLarge language modelに広く適用され、その言語的・事実的能力を調査している。
歴史的発展
プロービング分類器の概念は、2010年代半ばのニューラルネットワーク分析の広範な分野から生まれた。最も初期の影響力のある研究の一つは、University of Torontoなどの研究者によるもので、2016年に彼らはリカレントニューラルネットワークが言語モデリングのために学習した表現を分析するために線形分類器を使用した。彼らは、これらのネットワークが構文情報と意味情報を線形分離可能な形で符号化していることを実証し、この手法への広範な関心を引き起こした。
2017年と2018年のその後の研究、特にCarnegie Mellon UniversityとMIT CSAILのグループによる研究は、方法論を拡張した。研究者は、品詞タグ、固有表現、さらには文の長さを予測するなどの標準化されたプロービングタスクを開発し、ネットワークの異なる層が何を符号化しているかを体系的に評価した。これらの研究は、下位層はより表面的な特徴を捉える傾向があり、上位層はより抽象的でタスク固有の情報を符号化することをしばしば見出した。
方法論と設計
標準的なプロービング手順には、いくつかのステップが含まれる。まず、事前訓練されたニューラルネットワークが選択され、その活性化が一連の入力例について記録される。これらの活性化は、通常、特定の層または層のセットから抽出される。次に、線形分類器（多くの場合、ロジスティック回帰または単層パーセプトロン）が、これらの活性化に基づいてターゲットラベルを予測するように訓練される。ターゲットラベルは、文法タグが付与されたコーパスや既知の回答を持つ質問セットなどの外部データセットから得られる。
プローブ設計の重要な側面は、対照タスクの選択である。プローブが単に些細な統計的規則性を利用していないことを保証するために、研究者はラベルがランダムにシャッフルされた対照データセットでプローブを訓練することが多い。プローブが対照で偶然よりも良い性能を発揮しない場合、元の性能はターゲット情報の真の符号化によるものであることを示唆する。もう一つの一般的な対照は、ネットワークが学習した表現と比較するために、入力埋め込み（例えば、単語ベクトル）に直接プローブを訓練することである。
線形性の制約は、プロービングを他の解釈可能性手法と区別するものである。線形プローブは \( f(x) = Wx + b \) の形を持ち、ここで \( x \) は表現ベクトル、\( W \) は重み行列、\( b \) はバイアス項である。訓練目的は、通常、分類タスクのクロスエントロピー損失を最小化することである。このモデルの単純さは、その成功が表現自体がターゲットクラスを超平面で分離するように組織化されていることを示唆することを意味する。
言語モデルへの応用
プロービング分類器は、Large language modelを分析するための標準的なツールとなっている。例えば、研究者はプローブを使用して、GPT-2やBERTなどのモデルが主語と動詞の一致、照応、さらには世界知識に関する情報を中間層に符号化していることを示した。2019年の注目すべき研究では、線形プローブがトランスフォーマーの中間層の活性化から文が文法的であるかどうかを高い精度で予測できることがわかり、これらのモデルが暗黙的に文法規則を学習していることを示唆した。
事実知識の文脈では、プローブはモデルが特定の事実をネットワークのどこに保存するかを調査するために使用されてきた。例えば、AnthropicとGoogle DeepMindの研究者による2022年の研究では、プロービング分類器を使用して、国の首都や本の著者を符号化する層を特定した。この研究線は、モデル編集と解釈可能性に影響を与え、完全な再訓練なしにモデルの知識を標的に変更することを可能にするかもしれない。
プロービングは多言語モデルにも適用されている。研究者は、mBERTなどのモデルの表現に線形プローブを訓練し、構文構造が異なる言語間で言語に依存しない方法で符号化されていることを示した。この発見は、多言語トランスフォーマーが共有された抽象的な表現空間を発達させるという考えを支持し、これは言語横断的転移学習の重要な洞察である。
限界と批判
この方法論には批判がないわけではない。主要な懸念は、線形プローブの成功が、ネットワークがその情報を主要なタスクに使用していることを必ずしも意味しないことである。情報は存在するが使用されていないか、他の計算の副産物である可能性がある。これに対処するために、研究者は因果的プロービング手法を開発しており、これはネットワークの活性化に介入して、プローブの予測がモデルの出力に影響を与えるかどうかを確認するものである。しかし、これらの手法はより複雑で、あまり一般的には使用されていない。
もう一つの限界は、プローブの過学習のリスクである。プローブが複雑すぎるか、訓練例が少なすぎる場合、真の構造を検出するのではなく、ノイズを記憶する可能性がある。これが線形プローブが好まれる理由であり、パラメータが少なく過学習しにくいからである。しかし、表現空間が高次元で訓練データが疎である場合、線形プローブでさえ誤解を招く可能性がある。
関連する批判は、Aleksander Madryなどの研究者によって明確にされたもので、プローブは簡単すぎる可能性があるというものである。つまり、意味のある意味的特徴ではなく、表現の幾何学の産物である線形分離可能性を見つけるかもしれない。例えば、プローブはラベルと相関する単一の支配的な次元に基づいて2つのクラスを区別するかもしれず、概念の微妙な構造を捉えない。これにより、プローブが抽出する情報量をより原理的に測定する最小記述長プローブの開発が促された。
他の解釈可能性手法との関係
プロービング分類器は、ニューラルネットワーク解釈可能性のためのより広範なツールキットの一部である。これらは、特定のニューロンや層を最大限に活性化する入力を探す活性化最大化や、ネットワークが探しているものを表す画像を生成する特徴可視化としばしば比較される。主にComputer visionモデルに使用されるこれらの手法とは異なり、プロービングはより一般的であり、テキスト、音声、グラフデータにうまく適用されている。
もう一つの関連するアプローチは線形読み出しであり、これは本質的にプロービング分類器と同じであるが、強化学習や制御タスクの文脈で使用されることがある。これらの設定では、線形読み出しを使用して、エージェントの内部表現から状態をデコードし、エージェントが環境について何を学習したかについての洞察を提供できる。
プロービングはまた、表現学習理論と交差する。線形プローブの成功は、ターゲットタスクに対して表現が線形分離可能である証拠として解釈されることが多く、これは下流タスクにとって望ましい特性である。これにより、対照学習や特定のタイプのオートエンコーダなど、線形分離可能性を促進する訓練目的の研究が動機付けられた。
最近の進歩と将来の方向性
最近の研究は、プロービングをより堅牢で解釈可能にすることに焦点を当てている。一つの方向性は反復ヌル空間射影であり、これはプローブがすでに抽出した情報を除去し、研究者が同じ表現内で複数の独立した特徴を見つけることを可能にする。2021年に導入されたこの手法は、単一の層が直交する部分空間にいくつかの異なる概念を符号化していることを明らかにできる。
もう一つの進歩は、機構的解釈可能性の文脈でのプロービングの使用である。OpenAIなどの研究所の研究者は、線形プローブを使用して、特定の機能を実行するニューロンのグループである特定の回路を特定した。プロービングと因果的介入を組み合わせることで、情報がトランスフォーマーをどのように流れて、例えばシーケンス内の次のトークンを計算するかをマッピングすることができた。
この分野はまた、動的プロービングに向かって動いており、プローブが異なるタイムステップや入力の異なる部分（例えば、文内の個々のトークン）に適用される。これにより、情報が時間とともにどのように処理されるかのより詳細な分析が可能になる。例えば、プローブはモデルが文の主語を早い段階で符号化するが、動詞の時制を後でのみ組み込むことを示すかもしれない。
Large language modelがサイズと能力を成長させ続けるにつれて、プロービング分類器はその安全性と信頼性を確保するための不可欠なツールであり続ける。これらのモデルが何を知っており、それをどのように表現するかを理解することで、研究者はバイアス、事実誤認、潜在的な障害モードをよりよく検出できる。この手法は、今後何年にもわたって解釈可能性ツールボックスにおける標準的な方法であり続ける可能性が高い。
実用的な考慮事項
プロービング分類器を実装する際には、いくつかの実用的な詳細が重要である。層の選択は重要であり、すべての層をプロービングすることは計算コストがかかる可能性があるため、研究者はサブセットをサンプリングするか、モデルのアーキテクチャに基づくヒューリスティックを使用することが多い。プローブの訓練セットのサイズも重要であり、通常、信頼できる結果を得るには数千の例が必要であるが、これはクラス数と表現の次元に依存する。
もう一つの考慮事項は、表現の正規化である。一部の研究者は、プローブを訓練する前に活性化を正規化し（例えば、層正規化を使用）、これが性能と安定性を向上させることができる。他の研究者は、正規化が有用な情報を除去するかもしれないと主張し、生の活性化を使用する。選択は、特定のモデルとタスクに依存することが多い。
最後に、適切なベースラインとともにプローブ性能を報告することが重要である。一般的なベースラインは多数クラス分類器であり、これは常に最も頻繁なラベルを予測する。もう一つは、前述のようにランダムに並べ替えられたラベルで訓練されたプローブである。これらのベースラインなしでは、プローブの絶対精度を解釈することは困難である。この分野は一連のベストプラクティスに収束しているが、プロービング結果から結論を引き出す最も厳密な方法についてはまだ議論が続いている。