アクティベーションパッチングは、メカニスティック・インタープリタビリティ（機構的解釈可能性）で用いられる因果的介入手法であり、説明可能な人工知能の一分野で、ニューラルネットワークの具体的な構造、アルゴリズム、回路を分析することでその内部動作を理解することを目指す。この手法は、フォワードパス中に特定のニューロン、層、またはアテンションヘッドのアクティベーションを変更し、その結果生じるモデルの出力の変化を観察することを含む。内部状態に体系的に介入することで、研究者は個々のコンポーネントがモデルの挙動に与える因果的貢献を測定でき、従来のソフトウェアデバッグと同様の方法でネットワークをリバースエンジニアリングできる。
この手法は、機械学習モデルの重みにコード化された構造、回路、またはアルゴリズムを特定することを目指すメカニスティック・インタープリタビリティのより広範な目標の中心となる。サリエンシーマップや勾配ベースの帰属などの「ブラックボックス」説明に主に焦点を当てた初期の解釈可能性手法とは異なり、アクティベーションパッチングは内部状態と出力の間に直接的な因果関係を提供する。これにより、モデルの挙動を検証し、AIのミスアライメントなどの潜在的なリスクを検出し、大規模言語モデル（LLM）や他のニューラルネットワークが与えられた入力から特定の結論にどのように到達するかを理解するための強力なツールとなる。
起源と発展
「メカニスティック・インタープリタビリティ」という用語は、Anthropicの共同創設者であるクリス・オラーによって造られ、解釈可能なAIにおける通常の手法とは対照的な彼の回路分析の研究を説明するものとして使われた。回路分析はモデル内の個々の特徴と回路を完全に特徴づけようとしたのに対し、より広い分野はサリエンシーマップのような勾配ベースのアプローチに傾いていた。回路分析以前は、このサブフィールドの研究は、特徴可視化、次元削減、帰属などの様々な手法を人間とコンピュータの相互作用手法と組み合わせて、視覚モデルであるInception v1のようなモデルを分析していた。
アクティベーションパッチングは回路分析の自然な拡張として登場し、特定の挙動にとってどのコンポーネントが重要かを検証する仮説をテストする方法を提供した。初期の応用は視覚モデルに焦点を当てていたが、この手法はトランスフォーマーベースの大規模言語モデルの台頭とともに重要性を増し、アテンションヘッド、残差ストリーム、フィードフォワードネットワークを研究するための標準的なツールとなった。Anthropic、OpenAI、Google DeepMindなどの機関の研究者は、その後、この手法を洗練させ、スパースオートエンコーダなどの他の解釈可能性ツールと統合してきた。
基本原理
アクティベーションパッチングは、ニューラルネットワークの内部表現が情報を分散的にコード化しているという原理に基づいて動作する。フォワードパスの特定の時点でのニューロンまたは層のアクティベーションは、特徴の混合を捉えたベクトルである。そのアクティベーションを別の入力（または反事実的な設定）からの値に置き換えることで、研究者は出力がどのように変化するかを観察でき、それによってそのコンポーネントの役割を隔離できる。
この手法は線形表現仮説に依存しており、高レベルの概念がニューラルネットワークのアクティベーション空間の線形方向として表現されることを示唆している。単語埋め込みや大規模言語モデルからの経験的証拠はこの見解を支持しているが、普遍的に当てはまるわけではない。アクティベーションパッチングはこの線形性を利用して、概念方向の観点で解釈可能な標的を絞った介入を行う。
方法論
典型的なアクティベーションパッチング実験には、3回のフォワードパスが含まれる。まず、クリーンな入力でベースラインパスを実行し、モデルの出力を記録して、対象のアクティベーションを保存する。次に、変更された入力（例えば、主要な名詞が置き換えられた文）で破損パスを実行し、異なる出力を生成して、破損したアクティベーションを保存する。第三に、パッチングパスを実行し、破損したアクティベーションを特定の層またはヘッドでクリーンなパスのものに置き換え、出力をベースラインと比較する。
パッチングされたパスと破損したパスの間の出力の差は、パッチングされたコンポーネントの因果効果を示す。特定のヘッドをパッチングすることで元の出力が復元される場合、そのヘッドはタスクにとって重要である可能性が高い。逆に、パッチングが効果を持たない場合、そのコンポーネントは冗長または無関係である可能性が高い。このプロセスをすべてのコンポーネントにわたって繰り返すことで、ネットワークの因果マップを生成でき、しばしばヒートマップやグラフとして視覚化される。
大規模言語モデルへの応用
アクティベーションパッチングは、大規模言語モデルのメカニスティック・インタープリタビリティの要となっている。研究者はこれを用いて、主語と動詞の一致、照応解決、事実の想起などの特定の言語現象にどのアテンションヘッドが関与しているかを特定する。例えば、トランスフォーマーモデルで「The cat sat on the mat」のような文の処理中に特定のアテンションヘッドのアクティベーションをパッチングすることで、そのヘッドが「cat」と「sat」の関係をコード化しているかどうかを明らかにできる。
この手法は、トランスフォーマーにおける主要な情報ハイウェイである残差ストリームの研究にも使用される。異なる層で残差ストリームをパッチングすることで、研究者は情報が入力から出力へどのように流れ、どこで変換されるかを追跡できる。これにより、文脈からパターンをコピーする役割を担う誘導ヘッドや、他の機能回路の発見につながった。
スパースオートエンコーダとの関係
アクティベーションパッチングは、ニューラルネットワークのアクティベーションをスパース表現に分解するように訓練されたモデルであるスパースオートエンコーダ（SAE）と組み合わせられることが多い。SAEの学習された次元は、しばしば単純で人間が理解できる概念を表す。言語モデルのアクティベーションにSAEを適用することで、研究者は特定の文脈でどの特徴が活性化しているかを特定し、その特徴をパッチングして因果的役割をテストできる。Anthropicはこの手法を大規模言語モデルの解釈可能性に適用し、SAEを使用してアクティベーションを解釈可能な特徴に分解し、その特徴をパッチングして効果を検証している。
この組み合わせにより、生のアクティベーションをパッチングするよりも細かい介入が可能になり、層全体ではなく特定の概念方向を標的にできる。また、多くの特徴が少数のニューロンに詰め込まれる重ね合わせの課題に対処するのにも役立つ。
回路と因果分析
ニューラルネットワークの回路は、特徴アクティベーションの因果連鎖で構成される。どの回路がどの下流の結果につながるかをマッピングし、回路を活性化または抑制することで、ニューラルネットワーク（LLMなど）が与えられた入力から与えられた結果にどのように到達するかを分析できる。アクティベーションパッチングはこのマッピングの主要なツールであり、研究者が仮説上の回路が実際に挙動に必要かどうかをテストできるようにする。
例えば、視覚モデルでは、回路はエッジを検出するニューロンのセット、コーナーを検出する別のセット、そして物体を認識する最終セットで構成される可能性がある。エッジ検出ニューロンのアクティベーションをランダムな値でパッチングすると回路全体が混乱するが、後の層をパッチングするとより局所的な効果が生じる可能性がある。この階層的分析は、モデルの内部アルゴリズムの完全な全体像を構築するのに役立つ。
限界と課題
アクティベーションパッチングにはいくつかの限界がある。第一に、テストする各コンポーネントに対して複数のフォワードパスが必要であり、計算コストが高い。数十億のパラメータを持つ大規模モデルでは、これは実行不可能になる可能性がある。第二に、破損した入力の選択が重要であり、適切でない破損は誤解を招く結果につながる可能性がある。第三に、この手法はコンポーネントが独立して動作すると仮定しているが、実際にはコンポーネント間の相互作用が分析を混乱させる可能性がある。
さらに、アクティベーションパッチングはモデルの局所的で入力固有のビューのみを提供する。ある入力にとって重要なコンポーネントは別の入力にとっては無関係である可能性があるため、単一の実験から導かれた結論は一般化されない可能性がある。研究者は、堅牢な理解を構築するために、多様な入力にわたって多くの実験を実行する必要があることが多い。
今後の方向性
2020年代半ばの時点で、アクティベーションパッチングは活発な研究分野であり、この手法をより大規模なモデルに拡張し、回路の発見を自動化する取り組みが進められている。TransformerLensライブラリなどのツールにより、研究者がオープンソースモデルにパッチングを適用することが容易になり、学術ラボとAnthropicやGoogle DeepMindなどの業界グループとの連携が進歩を加速している。最終的な目標は、ニューラルネットワーク内部の包括的な理解を発展させることであり、これはAI安全性の実践に情報を提供し、より信頼性が高く制御可能なAIシステムにつながる可能性がある。