Propagation de pertinence par couche

La pertinence par propagation en couches (LRP) est une technique en apprentissage automatique et apprentissage profond pour expliquer les prédictions d'un réseau de neurones. Elle fonctionne en propageant la prédiction de sortie d'un modèle vers l'arrière à travers le réseau, couche par couche, pour calculer un score de pertinence pour chaque caractéristique d'entrée. Ces scores indiquent la contribution de chaque caractéristique à la décision finale, généralement visualisée sous forme de carte de chaleur sur l'entrée. La LRP est fondée sur le principe de conservation, où la pertinence totale à chaque couche est préservée lors de sa redistribution à la couche précédente, garantissant que la somme des scores de pertinence est égale à la sortie du modèle (moins un terme de biais). Cela fait de la LRP une approche fondée et mathématiquement rigoureuse pour l'interprétabilité des modèles, distincte des méthodes basées sur la perturbation qui modifient les entrées pour observer les changements de sortie.

Développée au milieu des années 2010 par des chercheurs dont Sebastian Bach, Alexander Binder, Grégoire Montavon, Klaus-Robert Müller et Wojciech Samek, la LRP est issue du domaine plus large de l'IA explicable (XAI). L'article fondateur, « On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise Relevance Propagation », a été publié en 2015. Depuis, la LRP est devenue un outil standard pour interpréter les modèles complexes, en particulier en vision par ordinateur et en traitement du langage naturel. Elle est souvent utilisée pour vérifier que les modèles se concentrent sur des caractéristiques pertinentes, pour identifier les biais et pour déboguer des comportements inattendus. La LRP a été appliquée dans des domaines allant de l'imagerie médicale à la conduite autonome et a été étendue pour gérer diverses architectures de réseaux, y compris les modèles basés sur transformers.

Principes fondamentaux

L'idée centrale de la LRP est de redistribuer la prédiction de sortie f(x) vers l'arrière à travers le réseau en utilisant des règles de redistribution locales. Pour chaque neurone i dans une couche, sa pertinence R_i est calculée à partir des pertinences des neurones j dans la couche suivante, en fonction des connexions pondérées entre eux. La règle la plus basique, connue sous le nom de règle LRP-0, distribue la pertinence proportionnellement à la contribution de chaque neurone à l'activation de la couche suivante. Formellement, pour un neurone j avec une activation a_j et un poids w_{ij} connectant le neurone i à j, la pertinence de j à i est donnée par R_{i \leftarrow j} = (a_i w_{ij} / \sum_{i'} a_{i'} w_{i'j}) R_j. Cette règle garantit que la somme des pertinences dans chaque couche est égale à la somme dans la couche suivante, satisfaisant ainsi la propriété de conservation.

Cependant, la règle LRP-0 peut être instable lorsque le dénominateur est proche de zéro. Pour remédier à cela, plusieurs variantes ont été proposées. La règle LRP-epsilon ajoute une petite constante positive epsilon au dénominateur pour stabiliser le calcul. La règle LRP-gamma amplifie les contributions positives en les pondérant plus fortement, ce qui peut améliorer la qualité des explications pour certains modèles. La règle LRP-alpha-beta permet une combinaison pondérée des contributions positives et négatives, contrôlée par les paramètres alpha et beta, avec la contrainte alpha + beta = 1. Ces variantes offrent une flexibilité pour adapter les explications à des applications et des types de modèles spécifiques.

Relation avec la rétropropagation

La LRP partage une similarité conceptuelle avec la rétropropagation, l'algorithme utilisé pour entraîner les réseaux de neurones via écrêtage de gradient et variantes de SGD. Les deux impliquent une passe arrière à travers le réseau. Cependant, leurs objectifs diffèrent fondamentalement. La rétropropagation calcule les gradients d'une fonction de perte par rapport aux poids du réseau pour les mettre à jour pendant l'entraînement. La LRP, en revanche, calcule des scores de pertinence pour les caractéristiques d'entrée par rapport à une prédiction spécifique, sans modifier le réseau. Bien que les gradients puissent également être utilisés pour l'attribution (par exemple, les cartes de saillance), ils souffrent de problèmes tels que la saturation du gradient et le bruit. La LRP est conçue pour produire des explications plus cohérentes et interprétables par l'humain en appliquant explicitement la conservation et en utilisant des règles de redistribution adaptées.

Applications en vision par ordinateur

En vision par ordinateur, la LRP est fréquemment appliquée aux réseaux de neurones convolutifs (CNN) pour générer des cartes de chaleur qui mettent en évidence les pixels d'une image qui influencent le plus une décision de classification. Par exemple, en imagerie médicale, la LRP a été utilisée pour expliquer les prédictions de modèles détectant des maladies à partir de radiographies ou d'IRM, aidant les radiologues à faire confiance et à vérifier la focalisation du modèle. En conduite autonome, la LRP peut mettre en évidence les régions d'une scène routière qu'un modèle utilise pour prendre des décisions, comme détecter des piétons ou des panneaux de signalisation. La technique a également été utilisée pour identifier des corrélations fallacieuses, comme un modèle s'appuyant sur des filigranes ou des objets d'arrière-plan plutôt que sur l'objet d'intérêt réel.

Applications en traitement du langage naturel

Avec l'essor des grands modèles de langage et des architectures transformers, la LRP a été adaptée pour expliquer les tâches de classification et de génération de texte. En NLP, la pertinence est propagée à travers les couches d'attention et les réseaux feed-forward pour attribuer des scores d'importance aux jetons ou mots individuels dans une phrase d'entrée. Cela aide à comprendre pourquoi un modèle a fait une prédiction particulière, comme la classification des sentiments ou l'étiquetage de sujets. Par exemple, la LRP peut révéler qu'un modèle de sentiments s'appuie fortement sur des mots comme « pas » ou « excellent » tout en ignorant les mots neutres. Des extensions de la LRP ont été développées pour gérer la structure spécifique des transformers, y compris la propagation à travers les mécanismes d'attention multi-têtes et les connexions résiduelles.

Variantes et extensions

Au-delà des règles de base, plusieurs extensions de la LRP ont été proposées pour gérer différents scénarios. La décomposition de Taylor profonde (DTD) fournit un cadre théorique qui unifie la LRP avec les expansions de Taylor, offrant une manière fondée de dériver des règles de redistribution pour des non-linéarités complexes. La LRP a également été combinée avec d'autres méthodes d'interprétabilité, telles que élagage de modèle et augmentation de données, pour améliorer la robustesse et l'explicabilité des modèles. Pour les données de séries temporelles, la LRP peut être appliquée aux réseaux de neurones récurrents (RNN) et aux réseaux à mémoire à long terme (LSTM), bien que les règles de propagation doivent être adaptées pour gérer les connexions récurrentes. De plus, la LRP a été utilisée en combinaison avec des mécanismes d'attention pour fournir des explications plus granulaires.

Comparaison avec d'autres méthodes d'explicabilité

La LRP est l'une des plusieurs techniques pour expliquer les prédictions des réseaux de neurones. D'autres méthodes populaires incluent SHAP (SHapley Additive exPlanations), LIME (Local Interpretable Model-agnostic Explanations) et les gradients intégrés. SHAP est basé sur la théorie des jeux coopératifs et fournit un cadre unifié pour l'attribution des caractéristiques, mais il peut être coûteux en calcul. LIME approxime le modèle localement avec un modèle de substitution interprétable, mais les explications peuvent être instables. Les gradients intégrés, comme la LRP, sont une méthode basée sur la rétropropagation mais reposent sur l'intégration des gradients le long d'un chemin allant d'une ligne de base à l'entrée. La LRP est souvent privilégiée pour son efficacité computationnelle et sa capacité à produire des explications nettes et localisées sans nécessiter plusieurs évaluations du modèle. Cependant, le choix de la méthode dépend du cas d'utilisation spécifique, de l'architecture du modèle et des propriétés souhaitées de l'explication.

Limites et défis

Malgré ses forces, la LRP a des limites. La qualité des explications dépend du choix des règles de redistribution et de leurs hyperparamètres, ce qui peut nécessiter un réglage pour chaque modèle. La LRP peut produire des explications bruitées ou contre-intuitives pour des réseaux très profonds ou des modèles avec des non-linéarités complexes. La propriété de conservation, bien que théoriquement attrayante, peut ne pas toujours tenir exactement en pratique en raison de problèmes numériques ou d'approximations. De plus, la LRP est principalement conçue pour les modèles différentiables ; l'appliquer à des modèles non différentiables ou avec des composants discrets nécessite des adaptations supplémentaires. Il existe également un débat en cours sur la fidélité des explications de la LRP, car différentes règles peuvent produire des attributions différentes pour la même prédiction.

Logiciels et implémentation

Plusieurs bibliothèques open-source implémentent la LRP, la rendant accessible aux praticiens. La bibliothèque innvestigate, développée par l'équipe de l'Université de Tübingen, fournit une interface unifiée pour diverses méthodes d'attribution, y compris la LRP, et prend en charge des frameworks d'apprentissage profond populaires tels que TensorFlow et Keras. La bibliothèque zennit offre une implémentation plus flexible et composable, permettant aux utilisateurs de définir des règles de propagation personnalisées. Pour les utilisateurs de PyTorch, torchxrayvision et d'autres packages spécialisés incluent des implémentations de la LRP. Ces outils ont facilité l'adoption de la LRP dans la recherche et l'industrie, permettant aux praticiens de générer des explications avec un effort de codage minimal.

Directions futures

La recherche sur la LRP continue d'évoluer, avec des efforts pour améliorer ses fondements théoriques, l'étendre à de nouvelles architectures et l'intégrer dans les pipelines de développement de modèles. Alors que IA générative et grands modèles de langage deviennent plus répandus, il y a un intérêt croissant pour expliquer leurs sorties, et la LRP est adaptée pour gérer l'échelle et la complexité de ces modèles. De plus, combiner la LRP avec l'inférence causale et le raisonnement contrefactuel est un domaine d'exploration actif. L'objectif est d'aller au-delà de la simple attribution de caractéristiques vers des explications plus complètes et exploitables qui peuvent informer le débogage de modèles, la détection de biais et la conformité réglementaire.