L'IA explicable, communément abrégée XAI, est le sous-domaine de l'intelligence artificielle qui s'intéresse à rendre le fonctionnement interne ou les sorties d'un modèle compréhensibles pour les utilisateurs humains. Le besoin d'explicabilité a grandi parallèlement au passage de modèles simples et intrinsèquement interprétables tels que la régression linéaire et les arbres de décision vers des architectures complexes de réseaux neuronaux dont les prédictions proviennent de millions ou milliards de paramètres appris interagissant d'une manière que le lecteur humain ne peut pas directement retracer, une limitation largement désignée comme le problème de la boîte noire. Les méthodes XAI visent à combler cet écart en produisant des explications, soit intégrées dans la conception du modèle, soit générées après coup, sans nécessairement exiger un compte rendu mécanique complet du calcul interne du modèle.
Motivations
La demande d'explicabilité provient de plusieurs directions. Les régulateurs dans des secteurs comme le crédit, les soins de santé et la justice pénale exigent de plus en plus que les décisions automatisées affectant les individus soient explicables, un principe repris dans le Règlement général sur la protection des données de l'UE et dans le acte sur l'IA de l'UE. Les développeurs utilisent les explications pour déboguer les modèles et détecter les corrélations fallacieuses, comme un modèle apprenant à reconnaître un animal d'après le terrain en arrière-plan plutôt que l'animal lui-même. Les explications soutiennent également les efforts pour détecter et corriger les biais algorithmiques, ainsi que pour renforcer la confiance des utilisateurs dans les systèmes utilisés pour des décisions à forte incidence.
Techniques
Les méthodes XAI sont généralement divisées en deux familles. Les modèles intrinsèquement interprétables, comme les arbres de décision, les listes de règles et les modèles linéaires, sont transparents par construction mais tendent à être moins précis sur des tâches complexes que l'apprentissage profond. Les méthodes post hoc traitent un modèle entraîné comme fixe et tentent d'expliquer les prédictions individuelles ou le comportement général autour de lui. Les techniques post-hoc largement utilisées incluent les cartes de saillance, qui mettent en évidence les régions d'entrée, comme les pixels d'une image, qui ont le plus influencé la sortie d'un réseau neuronal convolutionnel ; LIME (Local Interpretable Model-agnostic Explanations), qui approxime le comportement local d'un modèle complexe avec un modèle substitut plus simple ; et SHAP (SHapley Additive exPlanations), qui utilise un cadre théorie des jeux emprunté à la théorie des jeux coopératifs pour attribuer une prédiction à ses caractéristiques contributives, satisfaisant certaines propriétés d'équité. Ces méthodes sont indépendantes du modèle dans le sens où elles peuvent être appliquées à de nombreux types de systèmes d'apprentissage automatique sans accès aux poids internes.
Limites et relation avec l'interprétabilité
Les méthodes d'explication post-hoc ont été critiquées pour parfois produire des références plausibles mais infidèles du raisonnement réel d'un modèle, car elles se rapprochent plutôt qu'exposent directement le calcul impliqué. Cette limitation a poussé à une direction plus ambitieuse et parallèle de recherche, appelée interprétabilité mécaniste Mechanistic interpretability, qui cherche à rétro-ingénierifier les circuits et fonctionnalités effectifs qu'un réseau a appris, et non à l'approximer de l'extérieur ; les deux domaines sont étroitement liés mais poursuivent des normes de preuve différentes. Les méthodes XAI conçues pour la vision par ordinateur classique et les modèles tabulaires ont montré des difficultés à s'adapter aux systèmes de modèle de langage de grande taille, dont les sorties sont du texte libre plutôt qu'un ensemble fixe de classes, ce qui a déplacé une grande partie de la recherche à la frontière de l'explicabilité vers une analourse style de l'interprétabilité, et vers le simple fait de demander aux modèles de produire un raisonnement pas à pas comme explication intermédiaire, bien qu'elle ne reflète pas toujours fidèlement le calcul sous-jacent.