説明可能なAI（XAIと略されることが多い）は、モデルの内部動作や出力を人間のユーザーに理解可能にすることを目的とした人工知能の下位分野である。説明可能性へのニーズは、線形回帰や決定木といった単純で本質的に解釈可能なモデルから、予測が数百万から数十億の学習済みパラメータが人間の読者には直接追跡できない形で相互作用することで生じる複雑なニューラルネットワークアーキテクチャへの移行とともに高まった。この限界は一般にブラックボックス問題と呼ばれる。XAI手法は、モデルの設計に組み込まれた説明、または事後的に生成された説明を生成することでそのギャップを埋めることを目指しており、必ずしもモデルの内部計算の完全な機構的説明を必要としない。
動機
説明可能性への需要はいくつかの方向から来ている。信用、医療、刑事司法などの分野の規制当局は、個人に影響を与える自動化された決定が説明可能であることをますます要求しており、この原則はEUの一般データ保護規則やEU AI法にも反映されている。開発者は説明を使用してモデルをデバッグし、動物自体ではなく背景の地形から動物を認識することを学習するモデルなど、見せかけの相関を捉える。説明はまた、アルゴリズムバイアスを検出して修正する取り組みや、重要な決定に使用されるシステムへのユーザーの信頼構築を支援する。
手法
XAI手法は一般的に2つのファミリーに分けられる。決定木、ルールリスト、線形モデルなどの本質的に解釈可能なモデルは、構造上透明であるが、複雑なタスクでは深層学習よりも精度が低い傾向がある。一方、ポストホック手法は、訓練済みモデルを固定とみなし、個々の予測やその周辺の一般的な挙動を説明しようとする。広く使用されているポストホック手法には、画像のピクセルなど、畳み込みニューラルネットワークの出力に最も影響を与えた入力領域を強調するサリエンシーマップ、複雑なモデルの局所的な挙動をより単純な代理モデルで近似するLIME（局所解釈可能なモデル非依存説明）、協力ゲーム理論から借用したゲーム理論的枠組みを使用して、特定の公平性特性を満たす方法で予測をその寄与する入力特徴に帰属させるSHAP（シャープレイ加法的説明）がある。これらの手法は、内部の重みにアクセスせずに多くの種類の機械学習システムに適用できるという意味でモデル非依存である。
限界と解釈可能性との関係
ポストホック説明手法は、実際のモデルの推論についてもっともらしく見えるが不正確な説明を生成することがあると批判されてきた。これは、関与する計算を直接公開するのではなく近似するためである。この限界は、より野心的な並行研究の方向性である機構的解釈可能性を推進してきた。これは、ネットワークが学習した実際の回路や特徴を外部から近似するのではなく、リバースエンジニアリングすることを目指すものである。この2つの分野は密接に関連しているが、異なる証拠の基準を追求している。古典的なコンピュータビジョンや表形式モデル向けに設計されたXAI手法は、大規模言語モデルシステムに適応することが難しいことが証明されている。その出力は固定されたクラスセットではなく自由形式のテキストであるため、フロンティアの説明可能性研究の多くは、解釈可能性スタイルの回路分析と、モデルに思考の連鎖をプロキシ説明として生成させること（ただし、これは必ずしも基礎となる計算を忠実に反映するとは限らない）にシフトしている。