Layer-wise Relevance Propagation（LRP）は、機械学習および深層学習における技術であり、ニューラルネットワークの予測を説明するために用いられる。これは、モデルの出力予測をネットワーク内で逆方向に、層ごとに伝播させ、各入力特徴量に対する関連性スコアを計算する仕組みである。これらのスコアは、各特徴量が最終的な決定にどの程度寄与したかを示し、通常は入力上のヒートマップとして可視化される。LRPは保存則の原理に基づいており、各層の総関連性は前の層に再分配される際に保持され、関連性スコアの合計がモデルの出力（バイアス項を除く）と等しくなることを保証する。これにより、LRPは摂動ベースの手法（入力に変更を加えて出力の変化を観察する手法）とは異なり、原理的かつ数学的に厳密なモデル解釈手法となっている。
LRPは2010年代半ばに、Sebastian Bach、Alexander Binder、Grégoire Montavon、Klaus-Robert Müller、Wojciech Samekらによって開発され、説明可能なAI（XAI）というより広い分野から生まれた。基礎となる論文「On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise Relevance Propagation」は2015年に発表された。それ以来、LRPは複雑なモデルを解釈するための標準的なツールとなり、特にコンピュータビジョンや自然言語処理で広く使用されている。モデルが関連する特徴に焦点を当てていることを検証したり、バイアスを特定したり、予期しない動作をデバッグしたりするためにしばしば用いられる。LRPは医用画像から自動運転までさまざまな領域に応用されており、トランスフォーマーベースのモデルを含む多様なネットワークアーキテクチャに対応するよう拡張されている。
基本原則
LRPの中心的な考え方は、局所的な再分配ルールを用いて予測出力 f(x) をネットワーク内で逆方向に再分配することである。ある層の各ニューロン i の関連性 R_i は、後続の層のニューロン j の関連性と、それらの間の重み付き接続に基づいて計算される。最も基本的なルールであるLRP-0ルールは、次の層の活性化に対する各ニューロンの寄与に比例して関連性を分配する。形式的には、活性化 a_j とニューロン i を j に接続する重み w_{ij} を持つニューロン j について、j から i への関連性は R_{i \leftarrow j} = (a_i w_{ij} / \sum_{i'} a_{i'} w_{i'j}) R_j で与えられる。このルールにより、各層の関連性の合計が次の層の合計と等しくなり、保存則が満たされる。
しかし、LRP-0ルールは分母がゼロに近い場合に不安定になることがある。この問題に対処するため、いくつかの変種が提案されている。LRP-epsilonルールは、分母に小さな正の定数 epsilon を加えて計算を安定化させる。LRP-gammaルールは、正の寄与をより強く重み付けして増幅し、特定のモデルに対する説明の質を向上させることができる。LRP-alpha-betaルールは、パラメータ alpha と beta によって制御される正と負の寄与の重み付き組み合わせを可能にし、alpha + beta = 1 という制約を持つ。これらの変種は、特定のアプリケーションやモデルタイプに合わせて説明を調整する柔軟性を提供する。
バックプロパゲーションとの関係
LRPは、勾配クリッピングやSGDの変種を介してニューラルネットワークを訓練するために使用されるアルゴリズムであるバックプロパゲーションと概念的な類似性を共有している。どちらもネットワークを逆方向に通過することを含む。しかし、その目的は根本的に異なる。バックプロパゲーションは、訓練中にネットワークの重みを更新するために損失関数の勾配を計算する。一方、LRPはネットワークを変更することなく、特定の予測に対する入力特徴量の関連性スコアを計算する。勾配も属性付け（例：サリエンシーマップ）に使用できるが、勾配飽和やノイズなどの問題に悩まされる。LRPは、保存則を明示的に強制し、調整された再分配ルールを使用することで、より一貫性があり人間が解釈しやすい説明を生成するように設計されている。
コンピュータビジョンへの応用
コンピュータビジョンでは、LRPは畳み込みニューラルネットワーク（CNN）に頻繁に適用され、分類決定に最も強く影響する画像内のピクセルを強調するヒートマップを生成する。例えば、医用画像では、X線やMRIスキャンから疾患を検出するモデルの予測を説明するためにLRPが使用され、放射線科医がモデルの焦点を信頼し検証するのに役立っている。自動運転では、LRPはモデルが意思決定に使用する道路シーンの領域（歩行者や交通標識の検出など）を強調できる。この技術はまた、モデルが実際の対象物ではなく透かしや背景オブジェクトに依存するなどのスプリアス相関を特定するためにも使用されている。
自然言語処理への応用
大規模言語モデルとトランスフォーマーアーキテクチャの台頭に伴い、LRPはテキスト分類や生成タスクを説明するために適応されてきた。NLPでは、関連性はアテンション層とフィードフォワードネットワークを通じて伝播され、入力文内の個々のトークンや単語に重要度スコアを割り当てる。これは、感情分類やトピックラベリングなどの特定の予測をモデルが行った理由を理解するのに役立つ。例えば、LRPは感情モデルが「not」や「excellent」などの単語に強く依存し、中立な単語を無視していることを明らかにできる。LRPの拡張は、マルチヘッドアテンション機構や残差接続を通じた伝播を含む、トランスフォーマーの特定の構造を処理するために開発されている。
変種と拡張
基本的なルールに加えて、さまざまなシナリオを処理するためにLRPのいくつかの拡張が提案されている。Deep Taylor Decomposition（DTD）は、LRPをテイラー展開と統合する理論的枠組みを提供し、複雑な非線形性に対する再分配ルールを導出する原理的な方法を提供する。LRPはまた、モデルプルーニングやデータ拡張などの他の解釈可能性手法と組み合わせて、モデルの堅牢性と説明可能性を向上させるために使用されている。時系列データについては、LRPはリカレントニューラルネットワーク（RNN）や長短期記憶（LSTM）ネットワークに適用できるが、再帰的な接続を処理するために伝播ルールを適応させる必要がある。さらに、LRPはアテンション機構と組み合わせて、より詳細な説明を提供するために使用されている。
他の説明可能性手法との比較
LRPはニューラルネットワークの予測を説明するためのいくつかの手法の1つである。他の一般的な手法には、SHAP（SHapley Additive exPlanations）、LIME（Local Interpretable Model-agnostic Explanations）、統合勾配（integrated gradients）などがある。SHAPは協力ゲーム理論に基づいており、特徴属性付けのための統一された枠組みを提供するが、計算コストが高くなる可能性がある。LIMEはモデルを局所的に解釈可能な代理モデルで近似するが、説明が不安定になることがある。統合勾配はLRPと同様にバックプロパゲーションベースの手法であるが、ベースラインから入力までの経路に沿って勾配を積分することに依存している。LRPは、計算効率が高く、複数のモデル評価を必要とせずにシャープで局所的な説明を生成できるため、しばしば好まれる。ただし、手法の選択は、特定のユースケース、モデルアーキテクチャ、および説明に求められる特性に依存する。
限界と課題
その強みにもかかわらず、LRPには限界がある。説明の質は再分配ルールとそのハイパーパラメータの選択に依存し、モデルごとに調整が必要になる場合がある。LRPは、非常に深いネットワークや複雑な非線形性を持つモデルに対して、ノイズの多いまたは直感に反する説明を生成することがある。保存則は理論的には魅力的であるが、数値的な問題や近似により、実際には常に正確に成立するとは限らない。さらに、LRPは主に微分可能なモデル向けに設計されており、微分不可能なモデルや離散的なコンポーネントを持つモデルに適用するには追加の適応が必要である。また、異なるルールが同じ予測に対して異なる属性付けを生じる可能性があるため、LRP説明の忠実性についても議論が続いている。
ソフトウェアと実装
LRPを実装するオープンソースライブラリがいくつかあり、実務者が簡単に利用できるようになっている。テュービンゲン大学のチームによって開発されたinnvestigateライブラリは、LRPを含むさまざまな属性付け手法のための統一インターフェースを提供し、TensorFlowやKerasなどの一般的な深層学習フレームワークをサポートしている。zennitライブラリは、より柔軟で構成可能な実装を提供し、ユーザーがカスタムの伝播ルールを定義できるようにする。PyTorchユーザー向けには、torchxrayvisionやその他の専門パッケージにLRP実装が含まれている。これらのツールは、研究と産業の両方でのLRPの採用を促進し、実務者が最小限のコーディング作業で説明を生成できるようにしている。
今後の方向性
LRPに関する研究は進化を続けており、理論的基盤の改善、新しいアーキテクチャへの拡張、モデル開発パイプラインへの統合が進められている。生成AIと大規模言語モデルがより普及するにつれて、その出力を説明することへの関心が高まっており、LRPはこれらのモデルの規模と複雑さを処理するために適応されている。さらに、LRPと因果推論や反事実推論を組み合わせることも活発な研究分野である。目標は、単純な特徴属性付けを超えて、モデルのデバッグ、バイアス検出、規制順守に役立つ、より包括的で実用的な説明を提供することである。