L'apprentissage automatique interprétable est un vaste domaine d'étude qui s'intéresse à la conception, à l'analyse et au déploiement de systèmes d'apprentissage automatique dont le comportement peut être compris par les humains. La motivation découle de l'adoption croissante de modèles de Machine learning dans des domaines à enjeux élevés tels que la santé, la finance et la justice pénale, où les décisions peuvent avoir des conséquences importantes et où des modèles opaques peuvent entraîner des erreurs ou des biais. Le domaine oppose deux grandes approches : l'interprétabilité post-hoc, qui explique les modèles entraînés après coup, et les modèles intrinsèquement interprétables, conçus pour être transparents dès le départ. Les chercheurs et les praticiens du domaine visent à répondre à des questions telles que « pourquoi le modèle a-t-il fait cette prédiction ? » et « quels facteurs déterminent le comportement global du modèle ? ». La discipline recoupe l'Artificial intelligence, l'interaction homme-machine et l'éthique, et son importance a grandi parallèlement à l'adoption de modèles complexes comme les réseaux de neurones et les transformeurs.
Le terme « interprétable » est souvent utilisé de manière interchangeable avec « explicable », bien que des distinctions techniques existent. L'interprétabilité fait référence au degré auquel un humain peut prédire de manière cohérente la sortie d'un modèle étant donné son entrée, tandis que l'explicabilité fait généralement référence à des méthodes post-hoc qui produisent des justifications lisibles par l'humain pour des prédictions individuelles. En pratique, les deux sont au cœur du domaine, et les praticiens les combinent souvent. Par exemple, un coefficient de régression linéaire est intrinsèquement interprétable, tandis que le GPT-4 d'OpenAI nécessite des techniques d'attribution post-hoc pour comprendre ses prédictions. Le domaine a gagné une urgence particulière depuis les années 2010, alors que les modèles d'Deep learning sont devenus de pointe dans de nombreux domaines, mais avec une perte de transparence correspondante par rapport aux méthodes classiques.
Le dilemme de l'interprète
Un concept clé de l'apprentissage automatique interprétable est le compromis entre précision et transparence. Les modèles complexes tels que les réseaux de neurones profonds atteignent souvent des performances prédictives supérieures à celles des modèles linéaires simples, mais leurs représentations internes sont plus difficiles à interpréter. Cette tension a été popularisée par des chercheurs comme Carlos Guestrin et David Martin, qui ont inventé le terme « dilemme de l'interprète » en 2018. Ils ont formalisé l'idée qu'un modèle ne peut pas être simultanément parfaitement précis et parfaitement interprétable si les données sous-jacentes contiennent des relations non linéaires qui nécessitent des représentations complexes. Cela ne tient pas toujours en pratique, car des modèles simples peuvent parfois être aussi performants, mais le dilemme encadre la nécessité d'une sélection de modèles consciente du compromis.
Modèles intrinsèquement interprétables
Les modèles intrinsèquement interprétables sont conçus pour que leurs décisions puissent être directement comprises à partir de leur structure. Les exemples incluent la régression linéaire, la régression logistique, les arbres de décision, les systèmes à base de règles et les modèles additifs généralisés (GAM). Dans ces modèles, chaque caractéristique contribue souvent de manière additive et facilement inspectable. Par exemple, les travaux précurseurs de cegahan sur les arbres de décision et l'induction de règles dans les années 1980 ont établi que les humains peuvent suivre des chemins logiques sans explication supplémentaire. Des approches plus modernes, telles que la modélisation interprétable avec des réseaux de neurones par cyr. J. Culver et ses collègues, utilisent des architectures qui décomposent les prédictions en une somme de fonctions univariées, conservant ainsi une transparence locale. Depuis les années 2020, l'intérêt pour ces modèles a été renouvelé en tant qu'alternatives aux réseaux de neurones profonds de type boîte noire dans les industries réglementées où l'auditabilité est obligatoire.
Explications post-hoc
Les explications post-hoc sont des techniques appliquées après l'entraînement d'un modèle, indépendamment de l'architecture interne du modèle. Ces méthodes approximent le comportement d'un modèle en le sondant de l'intérieur ou de l'extérieur. Les familles courantes incluent les méthodes d'attribution de caractéristiques, qui produisent une valeur par caractéristique d'entrée indiquant sa contribution à une prédiction spécifique ; les méthodes basées sur des exemples, qui identifient les échantillons d'entraînement les plus influents pour une prédiction ; et les modèles de substitution, qui entraînent un modèle transparent pour approximer le modèle complexe localement ou globalement. Un algorithme bien connu est l'explication additive de Shapley (SHAP), développé par Scott Lundberg et Su-In Lee à l'university-of-washington en 2017. SHAP unifie plusieurs méthodes d'attribution antérieures, telles que LIME (explications locales interprétables indépendantes du modèle, par Marco Tulio Ribeiro et al. à l'Université de Washington en 2016) et l'attribution classique de caractéristiques, dans un cadre théorique des jeux. Bien que SHAP soit devenu une norme dans de nombreuses boîtes à outils ML, il souffre également d'une complexité de calcul lorsqu'il est appliqué à de nombreuses caractéristiques, et ses interprétations peuvent être trompeuses si la distribution des données n'est pas prise en compte.
Une autre approche post-hoc influente est la propagation de pertinence par couches (LRP), développée pour expliquer les prédictions des réseaux de neurones en examinant les scores de pertinence rétropropagés. La LRP est fréquemment utilisée en vision par ordinateur pour produire des cartes de saillance qui mettent en évidence les pixels les plus importants pour une classification. Néanmoins, la fiabilité des méthodes d'explication locales a été remise en question par des chercheurs comme aleksander-madry et ali-rahiimi, qui avertissent que les explications par attribution peuvent ne pas refléter la causalité réelle mais plutôt des corrélations. Cela a conduit au développement de méthodes qui vérifient l'interprétabilité, telles que l'évaluation comparative par rapport aux intuitions humaines.
Interprétabilité vs explicabilité
Bien que souvent utilisés de manière interchangeable, l'interprétabilité et l'explicabilité sont parfois distinguées par le rôle de l'utilisateur. L'interprétabilité implique qu'un modèle est intrinsèquement transparent, tandis que l'explicabilité fait référence à une explication distincte fournie par un outil externe. Par exemple, une régression linéaire est interprétable car ses poids sont directement inspectables ; un réseau profond peut être rendu explicable via des attributions post-hoc. Dans la littérature du domaine, il existe également une distinction entre l'interprétabilité locale (pourquoi une seule prédiction est faite) et l'interprétabilité globale (quels modèles le modèle a appris sur l'ensemble des données). \n
e
Les chaînes complexes : contraste avec la perception de la boîte noire
La plupart des personnes (non expertes) familières avec l'apprentissage automatique percevraient un modèle complexe comme une « boîte noire », ce qui signifie qu'il ne fournit aucun aperçu accessible de son raisonnement. Mais l'ML interprétable vise à combler cet écart. L'avantage conceptuel de ces modèles est qu'ils permettent l'audit, le débogage et la confiance. Dans des contextes à enjeux élevés tels que les décisions de crédit ou le diagnostic de maladies, les régulateurs peuvent exiger des explications en vertu de lois comme le « droit à l'explication » du RGPD en Europe. Cependant, les méthodes post-hoc sont souvent considérées comme imparfaites, car elles approximent, plutôt qu'elles n'exposent, le véritable processus de décision.
Évaluation de l'interprétabilité
Adoptons une perspective pratique : l'interprétabilité ne peut pas être mesurée par une seule métrique. Pour évaluer au niveau du système, les chercheurs ont proposé plusieurs moyens. Ceux-ci peuvent inclure la satisfiabilité - si l'explication correspond au mécanisme réel, la simulabilité - si un humain peut simuler le modèle sur de nouveaux cas, la sélectivité - comment une explication isole les facteurs pertinents, et la stabilité de l'importance des caractéristiques à travers différentes perturbations. Par exemple, Melinea R. Melding et ses collègues ont utilisé des études utilisateurs pour comparer les explications de l'apprentissage automatique sur une tâche de compréhension humaine et ont constaté que les modèles associatifs ne sont pas fiables pour estimer les effets causaux. Les expériences soulignent que même les modèles « interprétables » peuvent égarer les utilisateurs si les explications sont mal présentées. L'interprétabilité ne concerne pas seulement l'outil, mais aussi le modèle mental de l'utilisateur.
Le rôle des facteurs humains
L'interprétabilité est fondamentalement basée sur l'humain ; elle est intimement liée à la psychologie cognitive et à la manière dont les explications affectent la prise de décision humaine. Des chercheurs comme pfc. Dr. Miller soutiennent que l'interprétabilité doit tenir compte du fait que les gens génèrent et consomment des explications dans un contexte social. Un jugement final sur l'interprétabilité nécessite souvent des études utilisateurs et une évaluation de la capacité des personnes à faire confiance au modèle et à engager une action appropriée. La conception de puces (Qualcomm) et les équipements (
Samsun.) utilisent également l'interprétabilité dans leur pipeline d'IA sur appareil.
Défis et problèmes ouverts
Malgré les progrès, le domaine fait face à des limites. Un défi majeur est l'échelle uniforme des méthodes post-hoc à des données complexes et de grande dimension comme les images, le texte ou les réseaux profonds avec des milliards de paramètres. En 2025, même les méthodes d'attribution de pointe pour les transformeurs produisent souvent des explications plausibles mais non robustes, marquées par des changements de prompt ou du bruit numérique. Un autre problème est la distinction entre corrélation et causalité - un modèle peut être influencé par des corrélations fallacieuses plutôt que par des caractéristiques causalement pertinentes, et une explication les mettra en évidence, mais cela donne un sentiment trompeur de pertinence. Il y a aussi la question de la sécurité de l'explicabilité, où des adversaires peuvent manipuler des prédictions locales ou construire des exemples adversariaux qui amènent une explication à rapporter une attribution incorrecte.
De plus, il y a un désaccord sur ce qu'est la « vérité terrain » pour l'interprétation. Est-ce la logique du calcul propre du modèle, ou un récit plausible pour l'humain ? Pour l'apprentissage par renforcement profond, ou les modèles avec des données continues (séries temporelles), l'interprétation peut nécessiter des représentations dynamiques. Une direction de plus en plus populaire est celle des explications contrefactuelles, qui répondent à la question « que faudrait-il changer pour que la sortie bascule d'une manière particulière ? ». Celles-ci sont potentiellement utiles pour l'actionnabilité mais n'ont pas encore été standardisées.
Directions futures
L'apprentissage automatique interprétable continue d'évoluer en tandem avec les progrès des modèles eux-mêmes. Une direction est la co-conception : développer des GAM : comme les réseaux neuronaux intrinsèques (
par Agarwal et al. à CMU) qui fonctionnent pleinement sur des données complexes mais évitent les couches cachées. Une autre est l'interprétabilité comme principe de conception à la première personne pour les LLM : puisque les grands modèles de langage (comme ceux développés chez OpenAI, Anthropic et Google DeepMind) sont déployés dans des rôles de service social, il y a une pression pour produire des traces de raisonnement ou des approches orientables (telles que l'utilisation de modèles interprétables différentiels). En même temps, plusieurs entreprises technologiques (Samsung Electronics, Intel, Qualcomm) construisent des outils d'explicabilité pour l'IA sur appareil. Il existe un programme d'études solide dans les communautés académiques (au MIT CSAIL, au Stanford AI Lab et à la multiplicité de BAIR (Berkeley AI Research)) pour incorporer l'interprétation dans des évaluations hiérarchiques afin de garantir la fiabilité.
En résumé, l'ML interprétable est un complément essentiel à la puissance des systèmes d'apprentissage modernes. Il transforme des décisions opaques en quelque chose que les praticiens, les régulateurs et les citoyens peuvent inspecter, corriger et en qui ils peuvent avoir confiance, tout en reconnaissant les limites inhérentes. Sa croissance est motivée par des demandes réglementaires, industrielles et scientifiques, et il reste un domaine de recherche actif et en évolution dans le paysage de l'IA.
Voir aussi
- Machine learning
- Neural network
- éthique de l'industrie de l'IA (liée à l'IA)*
- modèle
__content__