コンセプト活性化ベクトル（CAV）は、機械学習においてニューラルネットワークの内部表現を解釈するための手法である。2017年にGoogle Brainとスタンフォード大学の研究者らによって導入され、CAVは「縞模様」や「医者」といった特定の概念がモデルの活性化に符号化されているかどうかを検証する方法を提供する。この手法は、概念を含む例と含まない例からの活性化を区別する線形分類器を訓練し、その分類器の重みベクトルをCAVとして用いる。このベクトルは活性化空間内で概念に対応する方向を指し示し、研究者が人間に解釈可能な形でモデルの理解を調査することを可能にする。
CAVは、特に深層学習モデルにおけるAI解釈可能性の分野で広く使用され、バイアスの評価、学習された特徴の検証、透明性の向上に役立っている。特に大規模言語モデルやトランスフォーマーにおいて重要であり、モデルが何を「知っている」かを理解することは、信頼と安全性にとって不可欠である。
背景と動機
ニューラルネットワークが複雑化するにつれ、その内部動作はますます不透明になった。初期の解釈可能性手法は個々のニューロンやアテンション重みの可視化に焦点を当てていたが、これらのアプローチは表現の分散的な性質を捉えきれないことが多かった。2017年、Google BrainのBeen Kim率いるチームは、モデルをより体系的に調査する方法を提案することでこの問題に対処しようとした。彼らの研究は、論文「Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV)」で発表され、CAVをTCAV（Testing with Concept Activation Vectors）と呼ばれるより広範な枠組みの一部として導入した。動機は、単純な特徴帰属を超えて、モデルが意思決定において概念を使用しているかどうかを定量的にテストできるようにすることだった。
重要な洞察は、概念は個々のニューロンではなく、高次元の活性化空間における方向として表現されることが多いという点だった。これらの活性化の上に線形プローブを訓練することで、概念の方向を捉えるベクトルを抽出できる。このアプローチは、ニューラルネットワークが高レベルの概念に対して線形分離可能な表現を学習することが多いという観察に基づいている。
CAVの仕組み
CAVを計算するプロセスにはいくつかのステップが含まれる。まず、関心のある概念を表す例のセット（例えば、縞模様の物体の画像）と、それを含まない「反例」のセット（例えば、縞模様でない物体の画像）を選択する。次に、モデルをこれらの例に対して実行し、選択した層での活性化を記録する。続いて、線形分類器（通常はサポートベクターマシン（SVM）またはロジスティック回帰）を訓練して、2つの活性化セットを区別する。この分類器の重みベクトルを単位長に正規化したものがCAVとなる。
CAVが得られたら、それを使用してモデルの概念に対する感度をテストできる。例えば、TCAVでは、CAV方向に沿った活性化に対するモデル出力の方向微分を計算する。正の微分は、概念が存在するときにモデルの予測が増加することを示し、モデルがその概念に依存していることを示唆する。これはネットワークの任意の層で実行でき、概念使用の層ごとの分析を提供する。
解釈可能性における応用
CAVは、コンピュータビジョンや自然言語処理を含むさまざまな領域で応用されている。元の論文では、著者らは画像分類モデルでこの手法を実証し、「縞模様」や「斑点」といった概念がシマウマやヒョウを分類するためにモデルによって使用されていることを示した。また、CAVを使用して、モデルが医者の画像を分類する際に「性別」を要因として使用するなど、潜在的なバイアスを検出した。
自然言語処理では、CAVは大規模言語モデルを「有害性」「感情」「トピック」などの概念について調査するために使用されてきた。例えば、研究者はCAVを使用して、モデルが特定の人口統計用語を否定的な感情と関連付けているかどうかを特定し、隠れたバイアスを明らかにしてきた。これは、実世界のアプリケーションに展開される生成AIシステムにとって特に重要である。
他の解釈可能性手法との関係
CAVは、特徴帰属、サリエンシーマップ、活性化最大化を含む、より広範な解釈可能性手法の一部である。入力特徴を強調するサリエンシーマップとは異なり、CAVは内部表現に作用する。また、活性化に基づいてプロパティを予測するために分類器を訓練する線形プロービングとも関連しており、CAVは分類器の重みベクトルを概念方向として使用することでこれを拡張している。
ニューロンレベルの分析と比較して、CAVは分散表現を捉えるため、多義性（単一のニューロンが複数の無関係な概念に応答する現象）に対してより堅牢である。これは、多義性が一般的である現代のトランスフォーマーにおいて大きな利点である。
限界と課題
その有用性にもかかわらず、CAVには限界がある。主要な課題の1つは、反例の選択である。CAVの品質はネガティブな例の選択に大きく依存しており、それらが代表的でない場合、CAVは見せかけの相関を捉える可能性がある。さらに、CAVは線形であり、非線形の概念関係を捉えられない場合がある。もう1つの問題は、CAVが事後的に計算されるため、モデルがすでに学習したものを反映しており、学習できる可能性のあるものを反映していないことである。
さらに、CAVはモデルの内部活性化へのアクセスを必要とするため、プロプライエタリなモデルでは利用できない場合がある。これにより、ブラックボックスモデルで機能する代替手法の開発が進められてきたが、CAVはホワイトボックス解釈可能性のための貴重なツールであり続けている。
拡張と変種
CAVのいくつかの拡張が提案されている。例えば、「概念ボトルネックモデル」は、概念方向をモデルアーキテクチャに直接組み込み、明示的な概念ベースの推論を可能にする。もう1つの変種である「自動概念発見」は、人間がラベル付けした例なしにクラスタリングを使用して概念を自動的に見つける。大規模言語モデルの文脈では、研究者はCAVをトークンレベルの活性化で機能するように適応させ、異なる文脈で概念がどのように表現されるかの詳細な分析を可能にしている。
最近の研究では、モデル編集やデバイアス化にCAVを使用することも探求されている。概念方向を特定することで、性別や人種などの不要な概念への依存を減らすようにモデルの表現を調整できる可能性がある。これはAIの安全性と公平性における活発な研究分野である。
影響と今後の方向性
CAVはAI解釈可能性の分野に大きな影響を与え、その後の機構的解釈可能性や表現工学の研究に影響を与えた。現在では、OpenAI、Anthropic、Google DeepMindなどの機関の研究者によって使用される、解釈可能性ツールキットの標準的なツールとなっている。モデルが拡大し続けるにつれて、CAVのような解釈可能性手法の必要性はますます高まっている。今後の方向性には、マルチモーダルモデル用のCAVの開発、概念抽出の堅牢性の向上、自動監査システムへのCAVの統合が含まれる。
要約すると、コンセプト活性化ベクトルは、概念がモデルの表現に符号化されているかどうかをテストする原理的な方法を提供し、モデルが何を学習し、どのように意思決定を行うかについての洞察を提供する。その単純さと有効性により、現代の解釈可能性研究の基礎となっている。
関連項目
参考文献
- Kim, B., et al. (2018). Interpretability Beyond Feature Attribution: Quantitative Testing with Concept Activation Vectors (TCAV). ICML.
- Koh, P. W., et al. (2020). Concept Bottleneck Models. ICML.
- Goh, G., et al. (2021). Multimodal Neurons in Artificial Neural Networks. Distill.