モデル非依存手法は、Machine learningにおける解釈可能性技術の一種であり、内部アーキテクチャに関係なくあらゆるモデルの予測を説明できる。モデル固有の手法がNeural networkやTransformer (architecture)のような特定のアルゴリズムに結びついているのに対し、これらの手法はモデルをブラックボックスとして扱い、入力と出力の関係を分析する。この柔軟性により、内部メカニズムが不透明なことが多いLarge language modelやその他のGenerative AIアプリケーションを含む複雑なシステムの監査やデバッグに有用である。
モデル非依存手法の核となる原理は、摂動ベースまたはサロゲートベースの分析である。入力特徴を体系的に変更し、予測の変化を観察することで、これらの手法はモデルがさまざまな要因をどのように重み付けしているかを近似する。これらはポストホックな説明を提供し、モデル自体を変更することなく、トレーニング後に適用される。これは、線形回帰や決定木のような本質的に解釈可能なモデルが設計上透明性を提供するのとは区別される。最も顕著な例としては、LIME（Local Interpretable Model-agnostic Explanations）とSHAP（SHapley Additive exPlanations）があり、どちらも産業界と研究で広く使用されている。
歴史的発展
モデル非依存手法の必要性は、2010年代の複雑なDeep learningモデルの台頭とともに高まった。Artificial intelligenceシステムが学術研究所から実世界の展開へ移行するにつれ、利害関係者は自動化された決定の説明を要求した。初期の解釈可能性研究は単純なモデルに焦点を当てていたが、Deep learningとNeural networkの登場によりギャップが生じた。2016年、マルコ・トゥリオ・リベイロ、サミール・シン、カルロス・ゲストリンがLIMEを導入し、これは基礎的な技術となった。ほぼ同時期に、スコット・ランドバーグとスーイン・リーが協力ゲーム理論、特にシャープレイ値を機械学習に適応させ、2017年にSHAPを生み出した。これらの手法は普遍的な適用可能性を約束したため、以前のモデルに必要な特注の説明とは対照的に、支持を得た。
主要技術
LIME（Local Interpretable Model-agnostic Explanations）
LIMEは、特定のインスタンスの周囲に単純で解釈可能なサロゲートモデル（線形モデルや決定木など）を適合させることで、個々の予測を説明する。このプロセスには、元の入力の特徴をランダムに変更して摂動サンプルを生成し、ブラックボックスモデルに問い合わせてこれらのサンプルの予測を取得することが含まれる。サロゲートは、元のインスタンスへの近接性によって重み付けされたこれらの摂動点でトレーニングされる。結果として得られる係数または構造は、どの特徴が局所的に予測に最も影響を与えたかを明らかにする。LIMEは表形式データ、テキスト、画像に特に効果的であるが、その安定性は摂動設定によって変動する可能性がある。
SHAP（SHapley Additive exPlanations）
SHAPは、協力ゲーム理論からのシャープレイ値に基づく統一フレームワークを提供する。各予測について、SHAPはすべての可能な特徴サブセットにわたる各特徴の限界貢献を計算し、一貫性と局所的な正確性を保証する。結果は加法的帰属モデルであり、特徴の貢献の合計はモデルの出力からベースラインを引いたものに等しい。SHAPは、KernelSHAP（モデル非依存）やTreeSHAP（ツリーベースモデルに最適化）を含むいくつかの実装を提供する。その理論的保証により、規制遵守や科学分析のための好ましい選択肢となっているが、高次元入力に対する正確な計算は計算コストが高くなる可能性がある。
その他のアプローチ
LIMEとSHAPに加えて、他のモデル非依存手法には、特徴をランダムにシャッフルしたときのモデル性能の低下を測定する置換特徴重要度や、1つまたは2つの特徴の関数として平均予測を視覚化する部分依存プロット（PDP）が含まれる。個別条件付き期待値（ICE）プロットは、PDPを拡張してインスタンスごとの変動を示す。予測を変更する最小限の入力変更を特定する反事実的説明もモデル非依存であり、救済分析に有用である。リベイロの別の貢献であるアンカーは、局所領域の予測安定性を保証するif-thenルールを提供する。
実践での応用
モデル非依存手法は、さまざまな分野で広く展開されている。金融では、信用スコアリングや融資承認の決定を説明し、EUの一般データ保護規則（GDPR）の「説明を受ける権利」などの規制要件を満たすのに役立つ。医療では、画像や電子健康記録からの診断予測を臨床医が理解するのを支援し、Bhabha Atomic Research CentreやSamsung Researchのような機関との協力で見られる。Large language modelについては、これらの手法はバイアスの監査や事実の一貫性の検証に使用され、注意可視化などの技術を補完することが多い。AnthropicやGoogle DeepMindなどの企業は、摂動ベースの分析を使用してモデルの動作を調査する研究を公開しているが、独自のシステムは内部ツールに依存することが多い。
利点と限界
利点
主な利点は柔軟性であり、単一の手法で単純なロジスティック回帰から大規模なTransformer (architecture)ベースのシステムまで、あらゆるモデルを説明できる。これは、複数のモデルタイプが共存する異種環境で重要である。モデル非依存手法はまた、モデル非依存の忠実性を提供し、説明がモデルの実装から独立しているため、公正な比較を容易にする。これらは比較的実装が容易で、再トレーニングなしでポストホックに適用でき、本番システムに不可欠である。
限界
その有用性にもかかわらず、これらの手法には顕著な欠点がある。摂動ベースのアプローチは、特に画像や長いテキストシーケンスのような高次元データに対して計算集約的になる可能性がある。説明は不安定で、類似したインスタンスに対して異なる結果を生み出すことがあり、信頼を損なう。局所的な忠実性はグローバルな理解を保証せず、サロゲートモデルは非線形性が高い領域で元のモデルの動作を誤って表現する可能性がある。さらに、SHAPの正確な計算はNP困難であり、速度と引き換えに精度を犠牲にする近似が必要である。批評家は、これらの手法は因果的説明ではなく相関ベースの洞察を提供し、高リスクの決定での使用を制限すると主張している。
モデル固有手法との比較
Neural networkの勾配ベースの顕著性マップやTransformer (architecture)の注意重みなどのモデル固有手法は、内部構造を利用する。これらはより正確で計算効率が高い可能性があるが、アーキテクチャ間で転送可能ではない。たとえば、Transformer (architecture)の注意重みはランダムフォレストには適用されない。モデル非依存手法は、普遍性のためにある程度の粒度を犠牲にする。実際には、研究者はしばしば両方を組み合わせる。初期探索にはモデル固有ツールを使用し、検証と外部コミュニケーションにはモデル非依存手法を使用する。選択は、対象者、リスク、モデルの複雑さに依存する。
最近の開発と研究
最近の研究は、モデル非依存手法の堅牢性とスケーラビリティの向上に焦点を当てている。Deep learningモデルについては、サンプリング戦略と勾配情報を使用したより高速なSHAP近似が開発されている。出力が単一の予測ではなくシーケンスや画像であるGenerative AIの説明可能性への関心が高まっている。テキスト生成の特徴帰属などの技術は、LIMEとSHAPをトークンレベルの摂動に適応させることが多い。さらに、説明品質の評価指標（忠実性や安定性など）を標準化する取り組みも進んでいる。Stanford AI Lab、MIT CSAIL、BAIR (Berkeley AI Research)などの機関の学術グループは限界を押し広げ続けており、OpenAIやAnthropicなどの産業研究所は解釈可能性研究に投資しているが、独自の手法を開発することが多い。
倫理的および規制上の考慮事項
モデル非依存手法への推進は、倫理的な要請によって部分的に動機付けられている。不透明なモデルはバイアスを永続させる可能性があり、説明は説明責任への第一歩である。EU AI法などの規制枠組みは、高リスクのAIシステムに説明可能性を義務付け始めている。しかし、説明が適切に検証されない場合、誤解を招く可能性がある。モデル非依存の説明が、モデルが実際には相関するプロキシを使用しているのに、特徴が重要であることを示唆する可能性がある。これは「説明を受ける権利」と厳格な基準の必要性についての議論につながっている。Carlos GuestrinやAleksander Madryなどの研究者は、これらの課題を強調し、解釈可能性を後付けではなく第一級の設計目標として提唱している。
将来の方向性
モデル非依存手法の未来は、現在の限界に対処することにある。特徴に介入して「what-if」の質問に答えることを目的とした因果的モデル非依存説明に関する活発な研究がある。もう1つの方向性は、ユーザーがモデルに反復的に問い合わせることができる対話型説明である。Large language modelについては、予測だけでなく推論チェーンを説明する方法が出現しているが、まだ初期段階にある。モデルの規模が大きくなるにつれて、効率が最重要となり、より洗練されたサンプリングおよび近似技術につながる。モデル非依存手法の自動機械学習パイプラインやMLOpsプラットフォームへの統合も増加すると予想され、説明がモデル展開の標準的な部分になる。
要約すると、モデル非依存手法は、Artificial intelligenceの風景全体でブラックボックスモデルを解釈するための不可欠なツールである。その普遍的な適用可能性は、安定性、計算コスト、因果的妥当性における進行中の課題にもかかわらず、現代の説明可能なAIの基盤となっている。分野が進化するにつれて、これらの手法は新しいモデルアーキテクチャと規制要件に適応し、AIシステムが理解可能で説明責任を果たすことを保証する可能性が高い。