SHAP (SHapley Additive exPlanations) est un cadre d'interprétation des sorties des modèles d'apprentissage automatique. Il attribue à chaque caractéristique une valeur d'importance pour une prédiction particulière, en se basant sur des concepts de la théorie des jeux coopératifs, notamment la valeur de Shapley. La méthode unifie plusieurs techniques existantes d'attribution de caractéristiques sous un modèle d'explication additif unique, offrant une manière théoriquement fondée de comprendre comment différentes caractéristiques d'entrée contribuent à la sortie d'un modèle.
L'idée centrale derrière SHAP est de décomposer une prédiction en une somme de contributions de chaque caractéristique, plus une valeur de base (la prédiction moyenne). Cette structure additive rend les explications intuitives : pour une instance donnée, la prédiction est égale à la valeur de base plus la somme des valeurs SHAP pour toutes les caractéristiques. La méthode satisfait des propriétés souhaitables telles que la précision locale (la somme des contributions est égale à la prédiction), la cohérence (si un modèle change de sorte qu'une caractéristique devient plus importante, son attribution ne diminue pas) et l'absence (les caractéristiques sans contribution obtiennent une attribution nulle).
Origines et fondements théoriques
SHAP a été introduit dans un article de 2017 par Scott Lundberg et Su-In Lee à l'Université de Washington. Le nom signifie SHapley Additive exPlanations, en référence à la valeur de Shapley issue de la théorie des jeux coopératifs, développée par le lauréat du prix Nobel Lloyd Shapley dans les années 1950. La valeur de Shapley fournit une manière équitable de distribuer un gain total entre les joueurs d'un jeu de coalition, en fonction de leurs contributions marginales. Dans le contexte de l'apprentissage automatique, les « joueurs » sont les caractéristiques d'entrée, et le « gain » est la prédiction du modèle.
Le fondement théorique s'appuie sur des travaux antérieurs en attribution de caractéristiques, notamment LIME (Local Interpretable Model-agnostic Explanations), DeepLIFT et la propagation de pertinence par couches. SHAP unifie ces méthodes en montrant que beaucoup d'entre elles sont des approximations de la valeur de Shapley sous différentes hypothèses d'indépendance des caractéristiques. Cette unification fournit un cadre principiel pour comparer et améliorer les méthodes d'explication.
Le modèle d'explication additif
SHAP définit une explication comme une méthode d'attribution de caractéristiques additive, où le modèle de sortie est une fonction linéaire de variables binaires indiquant si une caractéristique est présente ou absente. Formellement, pour une prédiction f(x), l'explication g(z') est définie comme :
g(z') = φ0 + Σ φi z'i
où z' est un vecteur d'entrée simplifié (avec 1 indiquant que la caractéristique est présente, 0 absente), φ0 est la valeur de base (typiquement la prédiction moyenne sur un ensemble de données de référence), et φi sont les valeurs SHAP pour chaque caractéristique. Cette formulation garantit que l'explication est localement précise, ce qui signifie que g(z') approxime f(x) lorsque z' correspond à l'entrée réelle.
Les valeurs SHAP sont calculées comme les valeurs de Shapley d'une fonction d'espérance conditionnelle. Pour une caractéristique i, sa valeur SHAP est la moyenne pondérée de sa contribution marginale sur tous les sous-ensembles possibles de caractéristiques, où la contribution est la différence dans la prédiction du modèle lorsque la caractéristique est incluse par rapport à exclue, en maintenant les autres caractéristiques à leurs valeurs observées.
Méthodes de calcul
Le calcul exact des valeurs SHAP est coûteux en calcul, car il nécessite d'évaluer le modèle sur tous les 2^M sous-ensembles de caractéristiques, où M est le nombre de caractéristiques. Pour remédier à cela, plusieurs algorithmes d'approximation ont été développés :
- KernelSHAP : Une méthode agnostique au modèle qui utilise une régression linéaire pondérée pour approximer les valeurs de Shapley. Elle fonctionne avec n'importe quel modèle, le traitant comme une boîte noire, mais peut être lente pour de grands ensembles de données.
- TreeSHAP : Un algorithme efficace spécifiquement pour les modèles basés sur des arbres (comme les forêts aléatoires et le boosting par gradient). Il calcule des valeurs SHAP exactes en temps polynomial en exploitant la structure des arbres, ce qui le rend pratique pour de grands ensembles.
- DeepSHAP : Une adaptation pour les réseaux de neurones profonds, s'appuyant sur l'approche de rétropropagation de DeepLIFT. Il fournit des approximations rapides mais peut ne pas être exact.
- GradientSHAP : Utilise des gradients pour approximer les valeurs SHAP pour les modèles différentiables, offrant une alternative efficace en calcul.
TreeSHAP, introduit dans un article de suivi de 2018 par Lundberg et al., est devenu particulièrement populaire en raison de l'utilisation répandue de modèles de boosting par gradient comme XGBoost et LightGBM. Il permet un calcul exact en temps O(TLD^2), où T est le nombre d'arbres, L le nombre de feuilles et D la profondeur maximale.
Applications dans l'interprétation des modèles
SHAP est largement utilisé pour l'interprétabilité locale et globale. Pour les explications locales, il répond à la question : « Pourquoi le modèle a-t-il fait cette prédiction spécifique pour cette instance ? » Cela est précieux dans des domaines comme la notation de crédit, le diagnostic médical et la détection de fraude, où comprendre les décisions individuelles est essentiel pour la confiance et la conformité réglementaire.
Pour les explications globales, les valeurs SHAP peuvent être agrégées sur un ensemble de données pour montrer l'importance globale des caractéristiques. Les visualisations courantes incluent :
- Graphiques récapitulatifs : Montrent la distribution des valeurs SHAP pour chaque caractéristique, révélant comment les caractéristiques affectent les prédictions à travers différentes instances.
- Graphiques de dépendance : Affichent la relation entre la valeur d'une caractéristique et sa valeur SHAP, révélant souvent des motifs non linéaires ou des interactions.
- Graphiques de force : Visualisent les prédictions individuelles comme des forces poussant la prédiction loin de la valeur de base, avec les caractéristiques colorées par leur contribution.
Ces outils aident les scientifiques des données à identifier quelles caractéristiques pilotent le comportement du modèle, à détecter des biais potentiels et à valider que les modèles s'alignent sur les connaissances du domaine.
Relation avec d'autres méthodes d'explication
Le cadre théorique de SHAP se connecte à plusieurs autres techniques d'interprétabilité. LIME, par exemple, peut être vu comme un cas particulier de KernelSHAP avec un noyau de pondération spécifique. DeepLIFT et la propagation de pertinence par couches sont également liés, bien qu'ils fassent des hypothèses différentes sur l'indépendance des caractéristiques. L'unification fournie par SHAP permet aux praticiens de comprendre les hypothèses sous-jacentes des différentes méthodes et de choisir celles qui conviennent à leurs cas d'utilisation.
Une distinction clé est entre les méthodes agnostiques au modèle (comme KernelSHAP) et les méthodes spécifiques au modèle (comme TreeSHAP). Les méthodes agnostiques traitent le modèle comme une boîte noire et peuvent être appliquées à n'importe quelle fonction prédictive, tandis que les méthodes spécifiques exploitent la structure interne pour l'efficacité et la précision. SHAP prend en charge les deux paradigmes, ce qui le rend polyvalent à travers différents types de modèles.
Limites et critiques
Malgré sa popularité, SHAP présente plusieurs limites. Le calcul des valeurs de Shapley suppose l'indépendance des caractéristiques lors de l'estimation des espérances conditionnelles, ce qui peut conduire à des contrefactuels irréalistes lorsque les caractéristiques sont corrélées. Par exemple, si deux caractéristiques sont fortement corrélées, SHAP peut attribuer de l'importance à l'une tout en ignorant l'autre, même si les deux sont essentielles en pratique.
Un autre problème est le coût de calcul pour les grands modèles et ensembles de données. Bien que TreeSHAP soit efficace, KernelSHAP peut être prohibitif pour les modèles avec de nombreuses caractéristiques ou de grands ensembles de données de référence. Les méthodes d'approximation introduisent de la variance, et les résultats peuvent être sensibles au choix des données de référence.
Les critiques notent également que les valeurs SHAP fournissent une attribution mais pas des explications causales. Elles décrivent comment les caractéristiques corrèlent avec les prédictions, pas ce qui se passerait si une caractéristique était modifiée. Cette distinction est importante dans les applications à enjeux élevés où une compréhension causale est requise.
Implémentations logicielles
Plusieurs bibliothèques logicielles implémentent SHAP. La principale est le package Python shap, développé par Lundberg et maintenu par la communauté open-source. Il prend en charge l'intégration avec des frameworks d'apprentissage automatique populaires, notamment scikit-learn, XGBoost, LightGBM, CatBoost et PyTorch. Le package fournit des fonctions de visualisation pour les graphiques récapitulatifs, les graphiques de dépendance et les graphiques de force, ainsi que des utilitaires pour calculer les valeurs SHAP avec divers algorithmes.
D'autres implémentations existent en R (par exemple, le package shapviz) et dans des plateformes commerciales. De nombreux fournisseurs de cloud, y compris Amazon Web Services et Google Cloud, offrent des fonctionnalités d'explication basées sur SHAP dans leurs services d'apprentissage automatique, rendant la méthode accessible à un public plus large.
Impact et orientations futures
SHAP est devenu l'un des outils les plus utilisés pour l'interprétabilité des modèles dans la communauté apprentissage automatique. Son fondement théorique et ses implémentations pratiques en ont fait un choix standard pour expliquer à la fois les modèles traditionnels et les systèmes apprentissage profond. La méthode est référencée dans des milliers d'articles de recherche et est intégrée dans de nombreuses pipelines de production.
La recherche continue sur l'amélioration de l'efficacité de SHAP, la gestion plus précise des dépendances entre caractéristiques et son extension à de nouveaux types de modèles tels que les transformeurs basés sur les grands modèles de langage. Des travaux récents explorent l'utilisation de SHAP pour expliquer les modèles génératifs et pour détecter la dérive conceptuelle. Alors que les réglementations sur la transparence de l'IA se resserrent, des méthodes comme SHAP sont susceptibles de jouer un rôle de plus en plus important pour garantir la responsabilité et la confiance dans la prise de décision automatisée.