L'intelligence artificielle explicable (IAX), également connue sous le nom d'IA interprétable ou d'apprentissage automatique explicable (AAE), est un domaine de recherche au sein de l'intelligence-artificielle qui explore des méthodes pour fournir aux humains une supervision intellectuelle sur les algorithmes d'IA. L'accent principal est mis sur le raisonnement derrière les décisions ou les prédictions faites par les systèmes d'IA, les rendant plus compréhensibles et transparents. Cela répond au besoin des utilisateurs d'évaluer la sécurité des algorithmes et d'examiner la prise de décision automatisée dans les applications. L'IAX contrecarre directement la tendance « boîte noire » de l'machine-learning, où même les concepteurs de l'IA ne peuvent pas expliquer pourquoi une décision spécifique a été atteinte.
L'IAX cherche à aider les utilisateurs des systèmes alimentés par l'IA à performer plus efficacement en améliorant leur compréhension de la façon dont ces systèmes raisonnent. Elle peut être une mise en œuvre du droit social à l'explication, et même sans exigence légale ou réglementaire, l'IAX peut améliorer l'expérience utilisateur en aidant les utilisateurs finaux à faire confiance au fait que l'IA prend de bonnes décisions. L'IAX vise à expliquer ce qui a été fait, ce qui est fait, ce qui sera fait ensuite, et sur quelles informations ces actions sont basées, permettant de confirmer ou de contester les connaissances existantes et de générer de nouvelles hypothèses.
Contexte
Les algorithmes d'apprentissage automatique utilisés dans l'IA peuvent être catégorisés comme boîte blanche ou boîte noire. Les modèles boîte blanche fournissent des résultats compréhensibles pour les experts du domaine, tandis que les modèles boîte noire sont extrêmement difficiles à expliquer, même pour les experts. Les algorithmes d'IAX suivent trois principes : la transparence, l'interprétabilité et l'explicabilité. Un modèle est transparent si les processus qui extraient les paramètres du modèle à partir des données d'entraînement et génèrent des étiquettes à partir des données de test peuvent être décrits et motivés par le concepteur de l'approche. L'interprétabilité fait référence à la possibilité de comprendre le modèle et de présenter la base sous-jacente de la prise de décision d'une manière compréhensible pour l'humain. L'explicabilité, bien que reconnue comme importante, manque d'une définition consensuelle ; une possibilité est « l'ensemble des caractéristiques du domaine interprétable qui ont contribué, pour un exemple donné, à produire une décision ».
La transparence du modèle inclut la simulabilité (reproductibilité des prédictions), la décomposabilité (explications intuitives pour les paramètres) et la transparence algorithmique (expliquer comment les algorithmes fonctionnent). La fonctionnalité du modèle se concentre sur les descriptions textuelles, la visualisation et les explications locales qui clarifient des sorties ou des instances spécifiques. Ces concepts visent à améliorer la compréhensibilité et l'utilisabilité des systèmes d'IA. Si les algorithmes remplissent ces principes, ils fournissent une base pour justifier les décisions, les suivre, les vérifier, améliorer les algorithmes et explorer de nouveaux faits.
Parfois, des résultats de haute précision peuvent être obtenus avec des algorithmes d'AA boîte blanche, qui ont des structures interprétables. Les modèles à goulot d'étranglement conceptuel, utilisant des abstractions au niveau du concept, en sont des exemples et peuvent être appliqués dans des tâches de prédiction d'images et de texte. Cela est particulièrement important dans des domaines comme la médecine, la défense, la finance et le droit, où comprendre les décisions et établir la confiance est crucial. De nombreux chercheurs soutiennent que pour l'apprentissage automatique supervisé, la régression symbolique - où l'algorithme recherche des expressions mathématiques pour trouver le modèle le mieux adapté - est une voie prometteuse.
Les systèmes d'IA optimisent le comportement pour satisfaire un objectif mathématiquement spécifié, comme « maximiser la précision de l'évaluation de la positivité des critiques de films dans l'ensemble de données de test ». L'IA peut apprendre des règles utiles, comme « les critiques contenant 'horrible' sont probablement négatives », mais peut aussi apprendre des règles inappropriées, comme « les critiques contenant 'Daniel Day-Lewis' sont généralement positives », qui peuvent ne pas se généraliser ou être considérées comme injustes. Un humain peut auditer les règles dans une IAX pour évaluer la probabilité que le système se généralise aux données réelles futures.
Objectifs
La coopération entre les agents - algorithmes et humains - dépend de la confiance. Si les humains doivent accepter les prescriptions algorithmiques, ils doivent leur faire confiance. L'incomplétude des critères de confiance formels est un obstacle à l'optimisation. La transparence, l'interprétabilité et l'explicabilité sont des objectifs intermédiaires vers des critères de confiance plus complets. Cela est particulièrement pertinent en médecine, surtout avec les systèmes d'aide à la décision clinique (SADC), où les professionnels de santé doivent comprendre comment et pourquoi une décision basée sur une machine a été prise pour faire confiance et augmenter leur prise de décision.
Les systèmes d'IA apprennent parfois des astuces indésirables qui satisfont des objectifs préprogrammés explicites sur les données d'entraînement mais ne reflètent pas les désirs implicites nuancés. Par exemple, un système de 2017 chargé de la reconnaissance d'images a appris à « tricher » en recherchant une étiquette de droit d'auteur associée aux images de chevaux plutôt que d'apprendre à identifier les chevaux. Un autre système de 2017, une IA d'apprentissage supervisé pour saisir des objets dans un monde virtuel, a appris à placer son manipulateur entre l'objet et le spectateur pour sembler faussement le saisir.
Le programme XAI de la DARPA vise à produire des modèles « boîte de verre » qui sont explicables à un « humain dans la boucle » sans sacrifier grandement la performance de l'IA. Les utilisateurs humains peuvent comprendre la cognition de l'IA en temps réel et après coup, et déterminer s'ils doivent lui faire confiance. D'autres applications de l'IAX incluent l'extraction de connaissances à partir de modèles boîte noire et les comparaisons de modèles. Dans les systèmes de surveillance pour la conformité éthique et socio-légale, les outils « boîte de verre » suivent les entrées et sorties, fournissant des explications basées sur les valeurs pour garantir un fonctionnement éthique et légal. Cela contraste avec les systèmes « boîte noire », qui manquent de transparence et sont plus difficiles à surveiller et à réglementer.
Méthodes et techniques
Les méthodes d'IAX peuvent être catégorisées en approches intrinsèques et post-hoc. Les méthodes intrinsèques intègrent l'interprétabilité directement dans le modèle, comme l'utilisation d'architectures de neural-network avec des mécanismes d'attention ou des modèles basés sur transformer qui fournissent des poids d'attention. Les méthodes post-hoc expliquent des modèles déjà entraînés, y compris les techniques d'attribution de caractéristiques comme SHAP (SHapley Additive exPlanations) et LIME (Local Interpretable Model-agnostic Explanations), qui mettent en évidence quelles caractéristiques d'entrée ont influencé une prédiction. Les cartes de saillance, utilisées en vision par ordinateur, visualisent les régions d'une image qui étaient les plus importantes pour une décision de classification.
Pour les large-language-model, les techniques d'IAX incluent la visualisation de l'attention, les classificateurs de sondage pour tester ce que les représentations internes encodent, et la génération d'explications en langage naturel. Les méthodes agnostiques au modèle, telles que les modèles de substitution, approximent un modèle boîte noire avec un modèle plus simple et interprétable localement. Les explications contrefactuelles montrent comment changer une entrée modifierait la sortie, fournissant des informations exploitables. Ces méthodes aident les utilisateurs à comprendre non seulement ce que l'IA a décidé, mais pourquoi.
Défis et limites
Un défi majeur est le compromis entre la précision et l'interprétabilité. Les modèles complexes comme les réseaux de neurones profonds atteignent souvent une précision plus élevée mais sont plus difficiles à expliquer. L'IAX vise à atténuer cela, mais les explications peuvent être incomplètes ou trompeuses. Il n'y a pas de consensus sur ce qui constitue une bonne explication, et différentes parties prenantes peuvent nécessiter différents types. Les explications peuvent également être manipulées pour être trop favorables, une préoccupation dans les domaines à enjeux élevés.
Un autre problème est le « droit à l'explication » dans les réglementations comme le Règlement général sur la protection des données (RGPD) de l'UE, qui mandate que les décisions automatisées soient explicables, mais les implémentations techniques évoluent encore. Les méthodes d'IAX peuvent ne pas capturer le raisonnement complet d'un modèle, surtout pour les systèmes d'deep-learning avec des milliards de paramètres. En 2025, la recherche continue de traiter ces limites, en se concentrant sur l'évaluation rigoureuse de la qualité des explications et le développement de méthodes qui sont à la fois précises et interprétables.
Applications et orientations futures
L'IAX est appliquée dans divers secteurs. Dans le domaine de la santé, elle aide les cliniciens à comprendre les diagnostics et recommandations de traitement basés sur l'machine-learning, renforçant la confiance dans la médecine assistée par l'artificial-intelligence. En finance, l'IAX explique les décisions de crédit et la détection de fraude, assurant la conformité et l'équité. Dans les véhicules autonomes, l'IAX peut clarifier pourquoi un système Waymo ou Tesla a pris une décision de conduite particulière. Dans les contextes juridiques et de défense, l'IAX soutient la responsabilité et la supervision.
Les orientations futures incluent le développement de métriques d'évaluation plus robustes pour les explications, l'intégration de l'IAX dans les processus d'entraînement des modèles, et la création d'outils interactifs permettant aux utilisateurs d'interroger les modèles. La recherche dans des institutions comme MIT CSAIL, Stanford AI Lab et BAIR (Berkeley AI Research) fait progresser le domaine. Alors que les systèmes d'IA deviennent plus omniprésents, l'IAX sera cruciale pour garantir qu'ils sont dignes de confiance, équitables et alignés sur les valeurs humaines.