オクルージョン感度は、機械学習および人工知能において、訓練済みモデルの挙動を解釈するために使用される手法であり、特にニューラルネットワークに適用される。この手法は、入力（画像、テキストセグメント、音声ウィンドウなど）の特定領域を体系的にマスキングまたは摂動させ、モデルの予測がどのように変化するかを観察する。特定の領域をオクルージョンした際に信頼度が大幅に低下したり、予測クラスが変化したりする場合、その領域はモデルの決定にとって重要であるとみなされる。逆に、予測が変わらない場合、その領域は重要ではないと判断される。この手法はモデル非依存的であり、内部の勾配やアーキテクチャの詳細にアクセスすることなく、あらゆる予測モデルに適用できる。
このアプローチはコンピュータビジョンの文脈で普及し、研究者らはグレーの正方形やぼかしパッチを画像上でスライドさせ、各位置でのモデルの出力を記録した。これにより、予測に最も影響を与える入力領域を強調するヒートマップまたはサリエンシーマップが生成される。この手法は直感的で実装が容易であり、より洗練された解釈可能性手法を評価するための一般的なベースラインとなっている。しかし、オクルージョン領域ごとに複数回のフォワードパスが必要となるため計算コストが高く、オクルージョンのサイズやストライドの選択が結果に影響を与える可能性がある。
歴史的背景
オクルージョン感度の概念は、深層学習モデルが実際に何を学習しているのかを理解しようとする初期の取り組みから生まれた。2010年代、深層学習モデルが画像分類タスクで最先端の結果を達成し始めると、研究者らはその決定を説明しようと試みた。オクルージョン感度を実証した最も初期かつ影響力のある論文の1つは、2014年にスタンフォード大学などの研究者らによって発表された。彼らはグレーの正方形を使用して画像の一部をオクルージョンし、結果として得られるヒートマップが人間の直感と一致すること、例えば犬を分類する際に犬の顔を強調することを示した。
この研究は、オクルージョンを物体検出や認識に使用していたコンピュータビジョンの初期の研究に基づいている。入力の摂動によって重要度を評価するという考え方は、統計学者やエンジニアが出力の変動が入力の変動にどのように依存するかを研究した古典的な感度分析にもルーツを持つ。機械学習コミュニティでは、オクルージョン感度は解釈可能性ツールボックスの標準的なツールとなり、サリエンシーマップや勾配可視化などの勾配ベース手法の健全性チェックとしてしばしば使用された。
方法論と実装
オクルージョン感度の中心的な手順は、いくつかのステップで構成される。まず、訓練済みモデルが選択され、入力サンプルが準備される。画像の場合、入力は通常、固定サイズのテンソルである。特定のサイズ（例：15x15ピクセル）のウィンドウが定義され、そのウィンドウ内のすべてのピクセルを一定の値（多くの場合ゼロ（黒）、平均ピクセル値、またはぼかし）に設定するマスクが作成される。マスクされた入力はモデルに渡され、元の予測クラスに対する出力確率が記録される。このプロセスは、ウィンドウを入力全体にわたってスライドさせながら繰り返され、通常はウィンドウサイズよりも小さいストライドを使用して重複領域を作成する。
結果はスコアの2次元マップであり、各スコアはその領域が隠されたときのモデルの信頼度を表す。スコアが低いほど重要度が高いことを示す。これらのスコアはヒートマップとして可視化され、多くの場合、元の画像に重ねて表示される。テキスト入力の場合、オクルージョンは個々のトークンまたはトークンのスパンをマスキングし、特別な[MASK]トークンや空白に置き換えることで適用できる。音声の場合、時間周波数パッチをゼロにすることができる。
いくつかのバリエーションが存在する。一定のマスクの代わりにランダムノイズを使用することもでき、これは情報の欠如ではなく摂動に対するモデルの感度をテストする。別のバリエーションとして、異なるサイズのスライディングウィンドウを使用して、複数のスケールで特徴を捉える方法がある。オクルージョン値の選択も重要であり、黒いピクセルを使用すると人工的なエッジが導入される可能性がある一方、平均ピクセル値を使用するとより中立的である。一部の実装では、元の領域のぼかしバージョンを使用して局所的な統計を保持する。
コンピュータビジョンへの応用
オクルージョン感度は、画像分類、物体検出、医用画像解析などのコンピュータビジョンタスクで広く適用されている。例えば医用画像では、皮膚病変や肺結節を診断するモデルが、無関係なアーティファクトではなく臨床的に関連する領域に焦点を当てていることを検証するためにオクルージョン感度が使用されている。これは自動診断システムへの信頼構築に不可欠である。
自動運転では、オクルージョン感度は、モデルが決定に依存するシーンのどの部分（歩行者、交通標識、車線標示など）を特定するのに役立つ。これはデバッグや安全性分析に寄与する。例えば、特定の背景がオクルージョンされたときにモデルが一貫して一時停止標識を無視する場合、バイアスを示している可能性がある。
この手法は、明示的な教師なしでの物体位置特定にも使用される。クラス確率の最大の低下を引き起こす領域を見つけることで、物体のバウンディングボックスを近似できる。これはクラスアクティベーションマップに似たアプローチとして知られているが、より計算集約的である。
自然言語処理への応用
自然言語処理では、オクルージョン感度はトランスフォーマーや大規模言語モデルに適用され、どの単語やフレーズが予測を駆動するかを理解する。例えば、感情分析では、「I do not like this movie」という文の「not」という単語をオクルージョンすると、予測が大幅に変化するはずである。これは、モデルが表面的な手がかりではなく論理的な否定を使用していることを検証するのに役立つ。
質問応答では、文脈内の主要なエンティティをオクルージョンすることで、モデルが実際に推論しているのか、それとも近道に依存しているのかを明らかにできる。機械翻訳では、ソーストークンをオクルージョンすることで、特定のターゲット単語を生成するために最も影響力のある単語を示すことができる。これは翻訳エラーのデバッグに特に有用である。
しかし、テキストでのオクルージョンは、言語が離散的で文脈依存的であるため、より困難である。単一のトークンをマスキングすると文法構造が変化する可能性があり、モデルは情報の欠如ではなくマストークン自体に反応する可能性がある。研究者らは、ランダムトークンや空白への置換など、複数のマスキング戦略を使用してこれを緩和することが多い。
他の解釈可能性手法との関係
オクルージョン感度は、入力に対する出力の勾配を計算するサリエンシーマップなどの勾配ベース手法としばしば比較される。勾配手法は高速であるが、ノイズが多く、非線形に相互作用する特徴の真の重要度を捉えられない可能性がある。オクルージョン感度は、情報の除去の効果を直接測定するため、この点でより堅牢であるが、低速である。
もう1つの関連手法はモデルプルーニングであり、これは入力ではなくモデル自体の一部を削除する。オクルージョン感度はデータ拡張にも似ているが、両者とも入力の摂動を伴うものの、目的は異なる。拡張は汎化の向上を目的とし、オクルージョンは予測の説明を目的とする。
この手法は、アテンションメカニズムやレイヤー帰属などの新しい手法を評価するためのベースラインとして使用されることもある。新しい手法がオクルージョン感度と大きく異なるヒートマップを生成する場合、その手法は疑わしい可能性がある。しかし、オクルージョン感度にも限界があり、特徴が相関している場合に誤解を招く可能性があることが研究者らによって指摘されている。
限界と課題
主要な限界の1つは計算コストである。224x224の画像に対して16x16のオクルージョンウィンドウとストライド8を使用すると、約676回のフォワードパスが必要となる。数十億のパラメータを持つトランスフォーマーのような大規模モデルでは、これは法外に高価になる。このコストを削減するために、オクルージョン領域のより小さなサブセットを使用したり、勾配で効果を近似したりするなど、いくつかの戦略が提案されている。
もう1つの課題は、オクルージョン値の選択である。黒いピクセルを使用すると、モデルが新しい特徴として解釈する可能性のある高周波エッジが導入され、誤った重要度につながる可能性がある。平均ピクセル値の使用はより中立的であるが、現実的なシナリオを反映していない可能性がある。ぼかしは代替手段であるが、注意深いパラメータ調整が必要である。
オクルージョン感度はまた、特徴が独立していることを前提としている。2つの領域が共同で重要であるが個別には重要でない場合、一度に1つずつオクルージョンしてもそれらの複合的な重要性は明らかにならない。これは「マスキング問題」として知られており、摂動ベース手法の根本的な限界である。複数の領域を同時にオクルージョンしたり、貪欲探索を使用したりするいくつかの拡張が、この問題に対処しようとしている。
最近の展開と将来の方向性
生成AIと大規模言語モデルの台頭に伴い、オクルージョン感度はテキスト生成タスクに適応されている。例えば、研究者らは、生成された応答に最も寄与するプロンプトトークンを特定するためにこれを使用している。これはプロンプトエンジニアリングやモデル出力のバイアス検出に有用である。
画像とテキストの両方を処理するマルチモーダルモデルでは、オクルージョン感度を両方のモダリティに適用でき、クロスモーダルな依存関係を明らかにできる。例えば、画像内の領域をオクルージョンすると、質問がその領域に明示的に言及していなくても、その領域に関する質問に対するモデルの回答に影響を与える可能性がある。
最近の研究では、敵対的ロバストネスのためのオクルージョン感度の使用も探求されている。高感度な入力領域を特定することで、より効果的な敵対的例を生成したり、逆にそれらの領域を平滑化して防御したりできる。これは敵対的ロバストネスやロバスト訓練に関する研究と結びついている。
モデルがより複雑になるにつれて、信頼性の高い解釈可能性の必要性が高まっている。オクルージョン感度は、シンプルで直感的かつモデル非依存的であるため、依然として貴重なツールである。将来の開発は、近似による効率化や、アテンションや残差接続などの他の手法との統合に焦点を当て、モデル挙動のより完全な全体像を提供する可能性がある。
実践的な考慮事項
オクルージョン感度を実際に適用する際には、いくつかのパラメータを選択する必要がある。オクルージョンサイズは、意味のある特徴をカバーするのに十分な大きさでありながら、空間解像度を提供するのに十分な小ささである必要がある。ストライドはヒートマップの粒度を決定する。オクルージョン値はデータ分布に基づいて選択する必要がある。画像の場合、データセットの平均ピクセル値を使用することが一般的である。テキストの場合、特別なマストークンを使用するのが標準的である。
ベースライン予測を考慮することも重要である。モデルがすでに不確実な場合、オクルージョンの効果はほとんどない可能性がある。したがって、高信頼度で正しく分類されたサンプルに適用されることが多い。さらに、複数のサンプルにわたって結果を集約して、より安定した重要度マップを生成できる。
最後に、オクルージョン感度は他の解釈可能性手法と併用する必要がある。単一の手法が完璧であることはなく、複数のアプローチからの結果を三角測量することで、より信頼性の高い洞察が得られる。これは、説明が単なる付加価値ではなく規制遵守に必要なヘルスケアや金融などの高リスク領域で特に重要である。
要約すると、オクルージョン感度は、大規模AIの時代においても関連性を維持している基礎的な解釈可能性手法である。そのシンプルさと堅牢性により、計算コストと固有の限界にもかかわらず、モデル決定を理解するための第一線のツールとなっている。