勾配加重クラスアクティベーションマッピング（一般にGrad-CAMとして知られる）は、Deep learningにおける手法であり、畳み込みニューラルネットワーク（CNN）の予測に対する視覚的説明を生成する。これは、入力画像内でモデルの決定に最も影響を与えた領域を強調する粗い局在化マップを生成する。対象クラスの勾配を最終畳み込み層に流し込むことで、Grad-CAMは各特徴マップに重要度重みを割り当て、元の画像に重ね合わせることができるヒートマップを生成する。この手法は2017年にRamprasaath R. Selvaraju、Michael Cogswell、Abhishek Das、Ramakrishna Vedantam、Devi Parikh、Dhruv Batraによって導入され、Machine learningおよびArtificial intelligenceアプリケーションにおけるモデル解釈可能性の標準的なツールとなっている。
中核となる考え方は、以前のクラスアクティベーションマッピング（CAM）アプローチに基づきつつも、グローバル平均プーリング層を欠くアーキテクチャに一般化している。Grad-CAMはアーキテクチャの変更や再トレーニングを必要とせず、広範囲のCNNモデルに適用可能である。それはモデルの動作のデバッグ、モデルが意味的に関連する特徴に焦点を当てていることの確認、そして医療画像や自動運転などの分野で信頼を構築するために広く採用されている。
背景と動機
深層ニューラルネットワークが複雑になるにつれて、その意思決定プロセスはますます不透明になった。サリエンシーマップやオクルージョン感度などの初期の解釈性手法は、ピクセルレベルの勾配を提供したが、しばしばノイズが多く、解釈が不十分な可視化を生み出した。2016年にZhouらによって導入されたCAMは、グローバル平均プーリング層とそれに続く完全結合層を使用して、クラス固有のヒートマップを生成する方法を提供した。ただし、CAMはネットワークアーキテクチャの変更を必要とし、その適用範囲を制限した。
Grad-CAMはこれらの制限を克服するために開発された。空間情報を保持する最終畳み込み特徴マップに対する勾配情報を使用して、重要度の重みを計算する。このアプローチはアーキテクチャの変更なしにどのCNNでも機能し、柔軟で広く使用される説明ツールとなっている。
Grad-CAMの仕組み
Grad-CAMはトレーニング済みのCNNで動作します。境界の与えられた入力画像とターゲットクラスのために、この手法は最終畳み込み層の特徴マップに対するクラススコア（ソフトマックス前）の勾配を計算する。これら詰まり、その勾配はグローバルに平均プールされ、各特徴マップの重要度重みを取得を含む。この重みは、特徴マップの重み和を計算し、その後ReLU活性化を適用して正の寄与のみを保持るために使用される。結果として得られるマップは入力画像サイズにアップサンプリングされ、ヒートマップとして重畳される。
数学的には、特徴マップA^kとクラスcの場合、重みalpha_k^cは、y^cのA^kに対する勾配のグローバル平均である。Grad-CAMマップL^cは、ReLU(和_k alpha_k^c A^k)である。ReLUはクラスに正の影響を与える特徴のみを強調し、識別的可視化を生成するために重要である。
応用と使用例
Grad-CAMはさまざまな領域で応用されている。医療画像では、モデルが診断を行う理由を放射線科医が理解するのに役立つ。例えば、X線やMRIスキャンの腫瘍を識別する場合。自律運転では、車両の知覚システムが歩行者や道路標識に焦点を当て、無関係な背景ではなく、それらを確認するのに役立つ。コンピュータービジョン研究では、モデルが画像内の透かしやテキストなどの非表示サモンテキストな関連キューに誤って依存する場合など、モデルのバイアスを分析するために使用される。
この手法は、画像キャプショニングや視覚的質問応答などの他のタスクにも拡張されており、生成されたキャプションや回答に貢献した領域を強調表示することを可能にしている。さらに、Grad-CAM++やScore-CAMなどのバリエーションが、局在化の品質を改善し、オリジナル手法の限界に対処するために提案されている。
制限と批判
その人気にもかかわらず、Grad-CAMには既知の制限があります。ヒートマップは粗面で、詳細な詳細を捉えることができない。この手法はターゲット層の選択に敏感であり、初期の層を使用するとより詳細ですが硬いマッピングを生成し、後の層ではより滑らかっであいまいな局在化を生成します。さらに、Grad-CAMはモデルが非線形相互作用を使用する場合や勾配が飽和している場合に誤った説明を生成できます。いくつかの研究では、Grad-CAMマップが敵対的摂動によって操作される可能性があり、安全指向のアプリケーションでの信頼性への懸念が破壊されています。
研究者らは、Grad-CAMが因果的な説明を提供しない点、つまり相関関係を強調している原因ではなく、注目していることを指摘しています。そのため、リスクの高い提案書をする際には注意して使用する必要があります。
変種と改善点
Grad-CAMの短所に対処するために、複数の変種が開発されています。Grad-CAM++は、高次数の勾配を使用して、同じクラスの複数の発生をよりよくローカライズします。Score-CAMは、勾配の代わりにチャネル単位の信頼性の増加を置き換え、より安定性可能です。Layer-CAMとGrad-CAMは、説明の品質を向上させることを目指した別の例です。これらの手法はさまざまなデータセットでベンチマークされており、純粋に優れている単一の方法はありませんが、使用目的に応じて選択オプションを提供しています。
他の解釈性手法との関係
Grad-CAMは比較的広義の事後的解釈性手法の一員です。Transformer (architecture)で使用される注意機構ベースの手法が提供する注意重みとは異なるものではなく、Grad-CAMは勾配と特徴マップに依存します。これは、入力に変化を加えることで予測を説明するLIMEやSHAPなどの摂動ベースの手法と補完的です。実際には、実務者はGrad-CAMと他の手法を組み合わせて、モデルの動作についてより総合的な理解を受けることがよくあります。
実装とツール
Grad-CAMは、PyTorchやTensorFlowなどの広く使用されている深層学習ライブラリで実装されています。pytorch-grad-camライブラリを含むいくつかのオープンソースパッケージが、すぐに使える実装を提供します。これらのツールにより、研究者やエンジニアは数行のコードで説明を生成でき、技術を幅広いユーザーにアクセス可能性のあるものになります。
影響と将来の方向性
Grad-CAMは、説明可能なAIの分野に大きな影響を与えました。これは数千回引用され、新しい解釈性手法を評価するための標準的なベースラインとなっています。その単純さと有効性により、Machine learningコースの教育ツール、また産業界での実用的なツールとして使用されてきました。将来の研究は、より忠実でロバストな説明手法の探究を続けていますが、Grad-CAMは透明なAIシステムを追求するための交換における基礎的な手法であり続けています。