Les gradients intégrés sont une technique d'apprentissage automatique utilisée pour expliquer les prédictions des modèles d'apprentissage profond, en particulier les réseaux de neurones. Elle calcule une valeur d'attribution pour chaque caractéristique d'entrée, indiquant dans quelle mesure cette caractéristique a contribué à la sortie du modèle pour une prédiction spécifique. Cette méthode a été introduite dans un article de 2017 par Mukund Sundararajan, Ankur Taly et Qiqi Yan, et elle est largement utilisée pour interpréter les modèles dans des domaines tels que la vision par ordinateur et le traitement du langage naturel.
L'idée centrale est de mesurer comment la sortie du modèle change lorsque l'entrée est interpolée depuis une ligne de base neutre (comme un vecteur nul ou une image entièrement noire) jusqu'à l'entrée réelle. En accumulant les gradients de la sortie par rapport à l'entrée le long de ce chemin linéaire, les gradients intégrés fournissent un score d'attribution unique et cohérent pour chaque caractéristique. Cette approche se distingue des méthodes de gradient plus simples, qui peuvent souffrir de problèmes de saturation où les gradients deviennent nuls pour des caractéristiques déjà fortement activées.
Fondements axiomatiques
Les gradients intégrés ont été conçus pour satisfaire deux axiomes clés considérés comme souhaitables pour toute méthode d'attribution. Le premier est la sensibilité, qui stipule que si une caractéristique diffère entre la ligne de base et l'entrée, et que la modification de cette seule caractéristique change la sortie du modèle, alors cette caractéristique doit recevoir une attribution non nulle. Le second est l'invariance d'implémentation, qui exige que deux modèles fonctionnellement équivalents (c'est-à-dire produisant les mêmes sorties pour toutes les entrées, même si leurs calculs internes diffèrent) produisent des attributions identiques. Cette propriété est importante car de nombreuses architectures de réseaux de neurones peuvent être implémentées de plusieurs manières, et les utilisateurs veulent des explications liées au comportement du modèle plutôt qu'à son code spécifique.
Un troisième axiome, la complétude, est également satisfait : la somme de toutes les attributions est égale à la différence entre la sortie du modèle pour l'entrée et sa sortie pour la ligne de base. Cela fournit un contrôle de cohérence utile et rend les attributions directement interprétables comme des contributions à ce changement de sortie.
Définition mathématique
Pour un modèle \(f\) (généralement un réseau de neurones) avec une entrée \(x \in \mathbb{R}^n\) et une ligne de base \(x'\), le gradient intégré pour la \(i\)-ème caractéristique est défini comme :
\[ IG_i(x) = (x_i - x'_i) \times \int_{\alpha=0}^{1} \frac{\partial f(x' + \alpha(x - x'))}{\partial x_i} \, d\alpha \]
En pratique, l'intégrale est approximée par une somme discrète sur \(m\) points également espacés le long du chemin, avec \(m\) généralement compris entre 20 et 300. Le choix de la ligne de base est crucial ; les lignes de base courantes incluent le vecteur nul, la moyenne d'un ensemble de données d'entraînement, ou une version floutée de l'entrée. Pour les modèles de texte, une ligne de base pourrait être un vecteur d'intégration entièrement nul.
Comparaison avec d'autres méthodes d'attribution
Avant les gradients intégrés, les techniques d'attribution courantes incluaient la saturation du gradient (le gradient brut à l'entrée) et les méthodes basées sur l'occlusion (qui consistent à perturber des parties de l'entrée et à mesurer les changements de sortie). Les gradients bruts échouent souvent car ils peuvent être proches de zéro pour des caractéristiques importantes mais déjà dans une région saturée d'une fonction d'activation comme sigmoïde ou tangente hyperbolique. Les méthodes d'occlusion sont coûteuses en calcul et peuvent être sensibles au choix de la perturbation. Les gradients intégrés résolvent le problème de saturation en accumulant les gradients sur tout le chemin, et ils sont efficaces en calcul car ils ne nécessitent que quelques passages avant et arrière, similaires à la rétropropagation standard.
Une autre méthode populaire, SHAP (SHapley Additive exPlanations), est basée sur la théorie des jeux et offre un ensemble différent de garanties théoriques, mais elle peut être plus coûteuse à calculer exactement. Les gradients intégrés sont souvent préférés pour leur simplicité et leur rapidité, en particulier pour les grands modèles.
Applications en traitement du langage naturel
Dans les tâches de traitement du langage naturel, les gradients intégrés sont fréquemment utilisés pour expliquer les prédictions des modèles basés sur les transformeurs, y compris les grands modèles de langage. Par exemple, pour un modèle de classification de sentiments, la méthode peut mettre en évidence quels mots d'une phrase poussent le plus fortement la prédiction vers le positif ou le négatif. Cela se fait en traitant chaque intégration de jeton comme une caractéristique et en calculant les attributions sur ces intégrations, puis en les agrégeant par jeton.
Les chercheurs ont utilisé les gradients intégrés pour déboguer des modèles, identifier des corrélations fallacieuses et vérifier que les modèles se concentrent sur les informations pertinentes. Par exemple, dans les systèmes de questions-réponses, les attributions peuvent révéler si un modèle s'appuie sur la bonne partie d'un passage ou sur des indices non pertinents. La méthode a également été appliquée aux modèles de séquence à séquence pour des tâches comme la traduction automatique, où elle peut montrer quels mots sources influencent chaque mot cible généré.
Applications en vision par ordinateur
En vision par ordinateur, les gradients intégrés produisent des cartes de saillance qui mettent en évidence les pixels ou les régions d'image les plus responsables de la décision de classification d'un modèle. Pour un modèle entraîné sur ImageNet, la carte d'attribution pour une image de chien peut mettre en évidence le visage du chien tout en ignorant l'arrière-plan. Ces cartes sont souvent visualisées sous forme de cartes de chaleur superposées à l'image originale.
La méthode a été utilisée pour analyser les architectures de réseaux résiduels et d'autres modèles profonds, aidant les chercheurs à comprendre comment les caractéristiques sont combinées à travers les couches. Elle est également un outil courant en imagerie médicale, où l'interprétabilité est critique ; par exemple, les attributions peuvent montrer quelles parties d'un scan radiologique ont influencé un diagnostic, aidant ainsi les cliniciens à vérifier les décisions du modèle.
Extensions et variantes
Plusieurs extensions des gradients intégrés ont été proposées. Les gradients intégrés attendus font la moyenne sur plusieurs lignes de base échantillonnées à partir d'une distribution, ce qui peut réduire la sensibilité au choix de la ligne de base. Les hessiennes intégrées étendent l'idée aux dérivées du second ordre, fournissant des informations sur les interactions entre caractéristiques. Une autre variante, DeepLIFT, est une méthode connexe qui utilise une règle de rétropropagation différente mais partage l'objectif de satisfaire l'axiome de sensibilité.
Pour les modèles avec des entrées discrètes, comme les jetons de texte, les praticiens calculent souvent les attributions sur la couche d'intégration puis les agrègent sur les dimensions. Certains travaux ont également adapté les gradients intégrés pour traiter des données structurées comme les graphes, où le chemin est défini sur les caractéristiques des nœuds ou des arêtes.
Considérations pratiques
Le choix du nombre de pas \(m\) implique un compromis entre précision et coût de calcul. Trop peu de pas peuvent conduire à des approximations bruitées, tandis qu'un trop grand nombre augmente le temps d'exécution. Une valeur par défaut courante est \(m = 50\) ou \(m = 100\). Le choix de la ligne de base est également important ; pour les images, une image noire (tous les pixels à zéro) est standard, mais pour les modèles entraînés avec des entrées normalisées, la valeur moyenne des pixels peut être plus appropriée. Pour le texte, l'utilisation d'un vecteur d'intégration nul est typique, bien que certaines études suggèrent d'utiliser un jeton spécial comme l'intégration du jeton de remplissage.
Les attributions peuvent être négatives, indiquant qu'une caractéristique pousse la prédiction loin de la classe cible. Il est courant de prendre la valeur absolue ou de visualiser séparément les contributions positives et négatives. L'axiome de complétude garantit que la somme des attributions est égale à la différence de sortie, ce qui peut être utilisé pour vérifier l'implémentation.
Limites et critiques
Malgré sa popularité, les gradients intégrés présentent des limites. Le choix de la ligne de base peut affecter significativement les résultats, et il n'existe pas de règle universellement acceptée pour la sélectionner. La méthode suppose un chemin linéaire, qui peut ne pas refléter la véritable frontière de décision du modèle. Certaines études ont montré que les attributions peuvent être sensibles à de petites perturbations de l'entrée, soulevant des questions sur leur robustesse. De plus, pour les modèles très profonds, l'approximation de l'intégrale peut nécessiter de nombreux pas pour converger, augmentant le coût de calcul.
Une autre critique est que les attributions sont locales et ne fournissent pas une compréhension globale du comportement du modèle. Elles expliquent une prédiction individuelle mais pas la logique globale du modèle. Des chercheurs ont proposé de combiner les gradients intégrés avec d'autres techniques, comme l'élagage de modèle ou l'augmentation de données, pour obtenir des informations plus approfondies.
Relation avec d'autres outils d'explicabilité
Les gradients intégrés font partie d'un écosystème plus large de méthodes d'explicabilité. Ils sont implémentés dans plusieurs bibliothèques populaires, notamment la bibliothèque Captum pour PyTorch et la boîte à outils AI Explainability 360. Ces bibliothèques fournissent des API pour calculer des attributions sur diverses architectures de modèles, rendant la méthode accessible aux praticiens. La méthode est également utilisée dans la recherche sur la sécurité de l'intelligence artificielle et l'équité, où la compréhension des décisions des modèles est cruciale pour l'audit et la réglementation.
Dans le contexte de l'intelligence artificielle générative, les gradients intégrés ont été appliqués pour expliquer les sorties de modèles comme Stable Diffusion et les modèles de type GPT, bien que l'espace de sortie de haute dimension pose des défis. Pour les grands modèles de langage, les attributions peuvent être calculées sur le vocabulaire ou sur les intégrations de jetons, aidant à identifier quelles parties du prompt conduisent à une réponse particulière.
Directions futures
À mesure que les modèles deviennent plus grands et plus complexes, le besoin de méthodes d'attribution fiables et efficaces augmente. Les gradients intégrés restent une technique fondamentale, mais la recherche en cours vise à améliorer leur efficacité computationnelle, à réduire leur sensibilité aux hyperparamètres et à les étendre à de nouveaux types de modèles. Il existe également un intérêt pour développer des méthodes fournissant des explications causales plutôt que de simples corrélations, ce qui nécessiterait d'intégrer l'attribution avec des approches basées sur l'intervention.
Dans l'ensemble, les gradients intégrés sont devenus un outil standard dans la boîte à outils d'interprétabilité de l'apprentissage automatique, apprécié pour ses garanties théoriques et sa facilité d'utilisation pratique. Leur adoption à travers le monde académique et industriel reflète une tendance plus large vers la transparence des systèmes d'IA, motivée à la fois par des considérations éthiques et des exigences réglementaires.