アンカーは、Machine learningにおけるモデル予測の局所的な説明を生成するための手法である。2018年にワシントン大学の研究者らによって導入され、マルコ・トゥリオ・リベイロが率いた。これは、それ以前のLIME（Local Interpretable Model-agnostic Explanations）手法の後継として位置づけられる。アンカーは、特定の予測が成立するために十分な、単純でルールベースの条件の形で説明を提供し、他の特徴量が変化しても予測が変わらないことを保証する。LIMEがモデルを線形モデルで局所的に近似するのに対し、アンカーは、予測が保証されるか、または高い確率で成立する場合を明確に示す、高精度なルールを作成することを目指す。
アンカーの核となる考え方は、「どの最小限の特徴量の組み合わせが存在すれば、モデルが同じ出力を生成するのに十分か」という問いに答えることである。例えば、スパム分類器において、アンカーは「メールに『宝くじ』という単語が含まれ、送信者が連絡先リストにない場合、予測はスパムである」という形になり、精度は0.95と示される。このルールは、条件が満たされている限り、他の特徴量が変化しても予測が安定するため、予測を「固定」するものと見なされる。この手法はモデル非依存であり、Neural network、Deep learningシステム、Large language modelを含むあらゆるブラックボックスモデルに、内部パラメータへのアクセスなしで適用できる。
形式的定義と精度
形式的には、アンカーは特徴量と値のペアの集合からなるルールである。説明対象のインスタンスxが与えられたとき、アンカーAはxに適用される述語の集合である。このルールがアンカーであるためには、カバレッジと精度という2つの性質を満たす必要がある。カバレッジとは、局所近傍内でルールを満たすインスタンスの割合を指し、精度とは、ルールを満たすインスタンスに対するモデルの予測がxの予測と一致する確率である。目標は、高い精度（通常はユーザーが設定した閾値、例えば0.95以上）と、可能な限り高いカバレッジを持つルールを見つけることであり、これにより説明が正確かつ広く適用可能であることを保証する。
精度を推定するために、アンカーはすべての摂動を列挙する代わりに、多腕バンディットアルゴリズムを使用する。このアルゴリズムは、元のインスタンスの摂動をサンプリングし、摂動インスタンスは特徴量の値を分布（多くの場合、トレーニングデータまたはバックグラウンドデータセットに基づく）から置き換えることで生成される。バンディットアプローチは、可能なルールの空間を効率的に探索し、高い精度を持つ可能性が高いルールに焦点を当てる。最終的なアンカーは、精度制約の下でカバレッジを最大化するルールであり、サンプル数に基づく統計的保証が付随する。
LIMEとの比較
アンカーは、2016年にリベイロらによって導入されたLIMEの限界への対応として開発された。LIMEは、インスタンスの近傍でスパースな線形モデルを適合させることで予測を説明するが、線形モデルは高度に非線形な決定境界に対して誤解を招く可能性がある。例えば、線形近似は特徴量が正または負の効果を持つことを示唆するかもしれないが、実際にはその効果は他の特徴量に依存する場合がある。アンカーは、十分条件となる明示的なif-thenルールを提供することでこれを回避し、人間のユーザーにとってより直感的である。さらに、LIMEの説明はモデルの動作に忠実であることが保証されていないのに対し、アンカーは忠実度を定量化する精度指標を提供する。
もう1つの重要な違いは、LIMEが摂動カーネルに依存して局所的な説明を生成するのに対し、アンカーはより安定で解釈可能であることを目指している点である。アンカーはまた、より実践的なものとなるように設計されている。「特徴量Aと特徴量Bが存在する場合、予測はCである」というルールは、システムを理解し、場合によっては介入するために直接使用できる。
アルゴリズムと実装
アンカーアルゴリズムは、候補生成と検証の2つの主要なフェーズで動作する。最初のフェーズでは、インスタンスの特徴量値の組み合わせを考慮して候補ルールを生成する。連続特徴量については、分位数などを使用して区間に離散化し、述語を作成する。アルゴリズムはビームサーチを使用してルールの空間を探索し、最も頻度の高い特徴量値から開始して拡張する。検証フェーズでは、各候補ルールを摂動のサンプリングと経験的精度の計算によってテストする。バンディットアルゴリズム（具体的にはKL-LUCBアルゴリズム）を使用してサンプルを効率的に割り当て、精度推定が十分に確信できる時点で停止する。
実装は、Microsoftのinterpretライブラリの一部であるオープンソースライブラリanchorで利用可能であり、表形式データ、テキスト、画像をサポートしている。テキストの場合、アンカーは単語の存在または不在に基づくことができる（例：「『悪くない』というフレーズが出現する場合、感情はポジティブである」）。画像の場合、アンカーはスーパーピクセル（画像のセグメント）を特徴量として使用し、ルールは「これらのピクセルが存在する場合、画像は犬として分類される」という形になる。ライブラリはまた、アンカーを人間が読める形式で表示する可視化ツールも提供する。
実践における応用
アンカーは、モデルの解釈可能性が重要となるさまざまな領域で応用されている。医療分野では、アンカーはモデルが患者に特定の疾患があると予測する理由を、年齢、血圧、検査結果などの特徴量に基づいて説明できる。例えば、アンカーは「年齢が60歳以上で、収縮期血圧が140を超える場合、心疾患のリスクが高い」という形になる。これにより、臨床医はモデルの決定を信頼し、検証することができる。金融分野では、アンカーはクレジット承認の決定を説明し、不利な措置に対する説明を要求する規制への準拠を確保できる。不正検出では、アンカーは不正アラートをトリガーする取引特徴量の組み合わせを強調できる。
Generative AIとLarge language modelの文脈では、アンカーはモデルが特定の応答を生成する理由を説明するために使用されている。例えば、感情分類器のアンカーは「テキストに『愛』と『素晴らしい』が含まれる場合、感情はポジティブである」という形になる。しかし、LLMの場合、特徴量空間はより複雑であり、アンカーはしばしばトークンレベルの特徴量に依存する。研究者はまた、アンカーを使用してモデルをデバッグし、誤った予測につながる疑似相関を特定することも探求している。
限界と課題
その利点にもかかわらず、アンカーにはいくつかの限界がある。第一に、アンカーは反事実インスタンスを生成するために使用される摂動分布の質に依存する。分布が現実的な変動を反映していない場合、精度推定は誤解を招く可能性がある。第二に、アンカーは高次元データに対して計算コストが高くなる可能性があり、探索空間が指数関数的に増大する。第三に、連続特徴量の離散化は、ルールが粗すぎたり細かすぎたりして、解釈可能性に影響を与える可能性がある。第四に、アンカーは十分条件を提供するが必要条件ではないため、予測が行われた理由を完全に説明できない場合がある。同じ予測に対して複数のアンカーが存在する可能性があり、アルゴリズムはそのうちの1つしか見つけない。
もう1つの課題は、アンカーが摂動プロセスにおいて特徴量の独立性を仮定していることであるが、これは実データでは成立しない場合がある。例えば、テキストでは特定の単語の存在はしばしば相関しているが、摂動はそれらを独立に扱うため、非現実的なサンプルが生成される可能性がある。研究者は依存関係を扱う拡張を提案しているが、これらはまだ標準的ではない。
拡張と関連研究
アンカーの導入以来、いくつかの拡張が提案されている。注目すべき拡張の1つは、SkopeRulesライブラリなどで見られる、ツリーアンサンブルからルールを抽出するグローバル説明のための決定ルールの使用である。もう1つは、予測を反転させるための最小限の変更を見つけることを目的とした反事実説明との統合である。アンカーはまた、形式的説明可能性における「十分理由」の概念とも関連しており、予測を保証する特徴量の最小部分集合を計算することを目的としている。その研究系統では、決定木やニューラルネットワークなどのモデルに対して正確なアンカーを計算するアルゴリズムが、形式的検証技術を使用して開発されている。
説明可能AI（XAI）のより広い分野では、アンカーは、ゲーム理論に基づく特徴量帰属を提供するSHAP（SHapley Additive exPlanations）などの他の局所説明手法と並んで位置づけられる。SHAPが特徴量重要度のグローバルなビューを提供するのに対し、アンカーはより直接的なルールベースの説明を提供する。いくつかの研究ではこれらを比較しており、アンカーは非専門家にとってより直感的であることが多い一方、SHAPはより包括的であることがわかっている。
影響と将来の方向性
アンカーの導入は、業界における解釈可能性ツールの開発に影響を与えた。主要なクラウドプロバイダーであるAmazon Web Services、Microsoft Azure、Google Cloudは、ルールベースの説明手法を機械学習プラットフォームに組み込んでおり、ユーザーは自社のインフラストラクチャにデプロイされたモデルに対してアンカーを生成できる。例えば、AWS SageMaker Clarifyにはアンカーに類似した説明を生成する機能が含まれており、Azure Machine Learningにはルールベースの説明を含む解釈可能性コンポーネントが用意されている。
将来の研究方向性には、高次元データへのアンカーのスケーラビリティの向上、特徴量依存関係を扱う方法の開発、ユーザーが代替ルールを探索できるインタラクティブツールとの統合が含まれる。さらに、Deep learningモデルがより複雑になるにつれて、忠実かつ理解可能な説明へのニーズが高まっており、アンカーはこのニーズに応えるのに適した位置にある。特に、Model PruningやData Augmentationなどの他の技術と組み合わせることで、モデルの単純性を向上させることができる。
要約すると、アンカーは局所的解釈可能性における重要な進歩を表しており、忠実度と人間の理解のバランスを提供する。予測の十分条件を提供することで、利害関係者がAIシステムを理解し信頼することを可能にし、これは高リスク領域での責任ある展開に不可欠である。