Explications contrefactuelles

Les explications contrefactuelles sont une technique d'apprentissage automatique permettant d'interpréter les prédictions d'un modèle en identifiant la plus petite modification des caractéristiques d'une entrée donnée qui inverserait la sortie du modèle vers un résultat souhaité. Pour une instance spécifique, une explication contrefactuelle répond à la question : « Quelle est la modification minimale nécessaire pour que la prédiction devienne le résultat cible ? » Par exemple, si une demande de prêt est refusée, un contrefactuel pourrait indiquer : « Si votre revenu annuel était supérieur de 5 000 $, votre demande serait acceptée. »

Ces explications s'appuient sur le concept philosophique de contrefactualité, qui examine ce qui se serait produit dans des conditions différentes. Dans le domaine de l'IA, elles offrent une forme d'interprétabilité locale, en se concentrant sur une prédiction individuelle plutôt que sur le comportement global du modèle. Elles sont particulièrement utiles pour les utilisateurs finaux cherchant à comprendre comment modifier leurs actions pour obtenir un résultat favorable. Contrairement aux méthodes d'importance des caractéristiques, qui classent les variables à l'échelle globale, les contrefactuels fournissent des recommandations concrètes et personnalisées.

Le terme a gagné en popularité à la fin des années 2010, grâce aux travaux fondateurs de Ruth Fong et Andrea Vedaldi (2017), puis de Sandra Wachter, Brent Mittelstadt et Chris Russell (2017), qui ont formalisé cette notion pour la prise de décision algorithmique. Depuis, les explications contrefactuelles sont devenues un pilier central de l'IA explicable, en lien avec des cadres juridiques comme le Règlement général sur la protection des données (RGPD) de l'Union européenne, qui accorde aux individus le droit d'obtenir des explications sur les décisions automatisées.

Le concept et sa formalisation

Une explication contrefactuelle pour une entrée donnée \( x \) et une prédiction \( f(x) \) est une nouvelle entrée \( x' \) telle que \( f(x') \) corresponde au résultat souhaité \( y' \). La modification de \( x \) à \( x' \) est généralement mesurée à l'aide d'une métrique de distance, comme la norme L1, L2 ou L0, afin de garantir la minimalité du changement. Formellement, on cherche à minimiser la distance \( d(x, x') \) sous la contrainte \( f(x') = y' \).

La notion de minimalité est subjective : différentes fonctions de distance produisent des contrefactuels différents. Pour les données tabulaires, on privilégie souvent la distance L1 pour favoriser la parcimonie (modifier peu de caractéristiques), tandis que pour les images, on utilise des mesures de similarité perceptuelle. Des contraintes peuvent également être ajoutées : certaines caractéristiques peuvent être immuables (comme l'âge) ou catégorielles. De plus, un contrefactuel doit être réaliste et réalisable, c'est-à-dire que les changements suggérés doivent être plausibles pour l'utilisateur (par exemple, augmenter ses revenus est réalisable, mais changer d'état civil peut ne pas l'être).

Les explications contrefactuelles sont spécifiques à chaque instance, contrairement aux explications globales comme l'importance des caractéristiques. Elles décrivent non pas le comportement général du modèle, mais le chemin vers un résultat différent pour un cas particulier. Cette approche est intuitive, mais elle est sensible au choix du résultat cible et de la métrique de distance.

Algorithmes et approches

Plusieurs algorithmes permettent de générer des explications contrefactuelles. Les premières méthodes reposaient sur l'optimisation par descente de gradient : pour les modèles différentiables, comme les réseaux de neurones, on minimise une fonction de coût combinant la perte de prédiction et la distance. Des implémentations spécifiques incluent :

• Wachter et al. (2017) : une approche par descente de gradient qui trouve des contrefactuels pour les modèles différentiables en optimisant une fonction de coût à deux termes (perte de prédiction et distance).
• Growing Spheres (Laugel et al., 2017) : pour les modèles non différentiables, cette méthode recherche le point limite le plus proche en élargissant itérativement une sphère autour de l'entrée jusqu'à ce que la prédiction change.
• DiCE (Mothilal et al., 2020) : génère un ensemble diversifié de contrefactuels pour offrir plusieurs options à l'utilisateur, en utilisant un autoencodeur ou une recherche agnostique au modèle.
• Méthodes basées sur les arbres : pour les forêts aléatoires ou le boosting de gradient, on peut parcourir les chemins de décision pour trouver les voisins les plus proches dans l'espace des feuilles.

Les méthodes agnostiques au modèle traitent le modèle comme une boîte noire et s'appuient sur des techniques d'échantillonnage ou d'optimisation, ce qui les rend applicables à tout type de classifieur. Cependant, elles peuvent être coûteuses en calcul, en particulier pour des entrées de haute dimension comme les images.

Applications dans le crédit et la finance

Le secteur financier est un domaine majeur d'application des explications contrefactuelles. Lorsqu'une demande de prêt ou de carte de crédit est rejetée par un système automatisé, des réglementations comme l'Egal Credit Opportunity Act (ECOA) aux États-Unis exigent que les prêteurs fournissent les raisons du refus. Les explications contrefactuelles vont plus loin en suggérant des actions concrètes : « Si vous réduisiez votre dette de 2 000 $, votre demande serait approuvée. » Cela donne aux consommateurs des moyens d'action pour améliorer leur situation.

Les banques et les entreprises de technologie financière commencent à intégrer des outils contrefactuels dans leurs processus de décision. Par exemple, un modèle entraîné sur des arbres de décision boostés peut être associé à un générateur de contrefactuels pour produire des explications personnalisées pour chaque refus. Le défi est de trouver un équilibre entre la faisabilité des suggestions (par exemple, augmenter ses revenus n'est pas toujours réalisable) et la nécessité de mettre en évidence des caractéristiques sur lesquelles l'utilisateur a un contrôle, comme ses habitudes de dépense.

Applications dans la santé

Dans le domaine de la santé, les explications contrefactuelles aident les cliniciens à comprendre pourquoi un modèle prédit un certain diagnostic ou un risque de réadmission. Par exemple, un réseau de neurones prédisant une réadmission pourrait indiquer : « Si la pression artérielle du patient était inférieure de 10 mmHg, le risque de réadmission passerait de élevé à faible. » Cela facilite la planification du traitement et la communication avec les patients.

Cependant, les contrefactuels médicaux nécessitent une gestion prudente des relations causales. Modifier un biomarqueur comme la pression artérielle peut être corrélé à d'autres facteurs non observés, ce qui rend les suggestions potentiellement trompeuses. Des chercheurs d'institutions comme le Stanford AI Lab et le MIT CSAIL explorent des contrefactuels causaux qui intègrent des connaissances médicales pour éviter de proposer des scénarios irréalistes ou dangereux.

Applications dans les modèles d'images et de texte

Pour les modèles de vision par ordinateur, les explications contrefactuelles consistent à modifier des pixels pour changer la prédiction. Par exemple, une image d'un chien pourrait être altérée par l'ajout d'un petit motif pour que le modèle la classe comme un chat. Ces modifications sont souvent imperceptibles pour l'humain, comme dans les exemples d'attaques adversariales, mais les contrefactuels visent des changements plus significatifs et compréhensibles. Des techniques comme les réseaux génératifs antagonistes (GAN) ou les autoencodeurs peuvent générer des contrefactuels en manipulant l'espace latent.

En traitement du langage naturel, les contrefactuels modifient des mots ou des phrases pour inverser une prédiction de sentiment. Par exemple, changer « Le film était ennuyeux » en « Le film était passionnant » ferait passer la prédiction de négative à positive. Les modèles basés sur des transformeurs, comme les grands modèles de langage, peuvent être utilisés pour générer des contrefactuels textuels tout en préservant la grammaticalité, mais garantir la minimalité et la fluidité reste un défi.

Liens avec la causalité et l'équité

Les explications contrefactuelles sont étroitement liées au raisonnement causal. Un véritable contrefactuel devrait refléter la structure causale des données : modifier une caractéristique peut avoir des effets en cascade sur d'autres variables (par exemple, augmenter le niveau d'éducation peut influencer le revenu). Les modèles causaux structurels de Pearl fournissent un cadre formel, mais ils sont souvent indisponibles en pratique. La plupart des méthodes supposent l'indépendance des caractéristiques, ce qui peut conduire à des suggestions irréalistes ou incohérentes.

Dans la recherche sur l'équité, l'équité contrefactuelle est un critère qui exige qu'une prédiction reste la même dans un monde contrefactuel où un attribut sensible (comme la race ou le sexe) est modifié. Cette notion, proposée par Kusner et al. (2017), utilise les contrefactuels non pas pour expliquer, mais pour auditer les biais des modèles. Par exemple, si changer le sexe d'une personne modifie sa décision de crédit, le modèle est considéré comme injuste selon ce critère.

Relation avec d'autres méthodes d'explicabilité

Les explications contrefactuelles complètent d'autres techniques d'IA explicable. Des méthodes comme SHAP et LIME fournissent des importances locales de caractéristiques, indiquant quelles variables ont le plus contribué à une prédiction, mais elles ne disent pas comment modifier le résultat. Les contrefactuels offrent cette information directement. Ils partagent également des similarités avec les exemples adversariaux, qui cherchent des perturbations minimales pour changer la prédiction, mais les contrefactuels visent un changement vers une classe cible spécifique, tandis que les attaques adversariales cherchent n'importe quelle erreur de classification, souvent imperceptible.

Dans le contexte de la causalité, les contrefactuels diffèrent des interventions : une intervention modifie une variable tout en maintenant les autres constantes (comme dans une expérience randomisée), tandis qu'un contrefactuel imagine un état hypothétique sous la même structure causale. Cette distinction est cruciale pour des applications sociétales, comme l'évaluation de politiques publiques.

Défis et limites

Un défi majeur est de garantir que le contrefactuel soit réaliste et réalisable. Pour les données tabulaires, certaines caractéristiques peuvent être immuables (comme l'âge ou l'origine ethnique), mais de nombreuses méthodes les ignorent. Les caractéristiques discrètes, comme la catégorie d'emploi, posent également problème car les distances continues ne s'y appliquent pas directement. De plus, les contrefactuels peuvent être instables : de petites variations dans l'entrée ou le modèle peuvent produire des suggestions très différentes, ce qui réduit la confiance des utilisateurs.

La complexité de trouver un contrefactuel optimal augmente avec la dimensionnalité des données. Pour des données de haute dimension comme les images, l'espace de recherche est vaste, et une optimisation naïve peut produire des perturbations imperceptibles mais irréalistes. De nombreuses méthodes supposent que le modèle est différentiable, ce qui n'est pas toujours le cas pour les ensembles d'arbres ou les pipelines non différentiables.

Il existe également un fossé sémantique : un contrefactuel mathématiquement minimal peut ne pas être interprétable par un humain. Par exemple, modifier une caractéristique de 0,3 unité peut être abstrait. Les chercheurs se concentrent donc sur la génération de contrefactuels proches au sens perceptuel humain, en utilisant des connaissances de domaine ou des études utilisateurs.

Orientations futures

La recherche évolue vers la génération d'explications contrefactuelles dans des contextes interactifs, où les utilisateurs peuvent itérer sur les suggestions. Dans les systèmes d'intelligence artificielle, il y a un intérêt croissant pour les explications contrastives, qui comparent la prédiction réelle à une alternative, afin d'améliorer la confiance. L'intégration de modèles causaux vise à produire des contrefactuels plus robustes qui respectent les dépendances entre caractéristiques.

Avec l'essor des grands modèles de langage, il est possible de générer des explications contrefactuelles en langage naturel directement à partir du raisonnement du modèle. Cependant, garantir la fidélité reste un problème ouvert. Au début des années 2020, aucune méthode ne domine ; le choix dépend du type de données, de la famille de modèles et des besoins des utilisateurs.

Considérations pratiques pour la mise en œuvre

Lors du déploiement de systèmes contrefactuels, les praticiens doivent prendre en compte plusieurs aspects :

• Évolutivité : Générer des contrefactuels pour des millions d'utilisateurs en temps réel nécessite des algorithmes efficaces. Les méthodes par descente de gradient sur GPU peuvent être rapides, mais les approches en boîte noire peuvent être plus lentes.
• Interface utilisateur : Les explications doivent être présentées dans un format compréhensible, souvent sous la forme « Si vous changez X de A à B, votre résultat passerait de P à Q. »
• Agnosticisme au modèle : Certains régulateurs exigent des explications quel que soit le type de modèle, donc les frameworks déployables doivent fonctionner avec n'importe quel modèle prédictif, qu'il s'agisse d'un réseau de neurones ou d'un système à base de règles.

Des entreprises comme Google DeepMind et OpenAI ont financé des recherches sur la génération robuste de contrefactuels, mais les outils de production restent naissants. En 2023, le concept continue d'évoluer, avec des recherches actives sur les contrefactuels causaux et les scénarios multi-agents.

Orientations futures

À mesure que les systèmes d'IA deviennent plus intégrés dans des décisions importantes, la demande d'explications contrefactuelles va croître. Les développements à venir pourraient inclure :

• L'intégration avec les grands modèles de langage pour générer des récits contrefactuels à partir de données brutes.
• Des explications personnalisées qui s'adaptent aux connaissances et préférences de l'utilisateur.
• La génération de contrefactuels sous incertitude, où plusieurs mondes possibles sont considérés.
• Le lien entre les contrefactuels et des recommandations actionnables grâce à la découverte causale.

Des chercheurs d'institutions comme l'Université Carnegie Mellon et Berkeley AI Research travaillent activement sur ces domaines.

Conclusion

Les explications contrefactuelles sont un outil puissant pour rendre les modèles d'apprentissage automatique transparents et actionnables. En posant des questions « et si », elles transforment des prédictions opaques en étapes concrètes pour les utilisateurs. Leur importance est renforcée par les pressions réglementaires en faveur d'une IA explicable et éthique. À mesure que les modèles deviennent plus complexes, le besoin d'interprétabilité contrefactuelle ne fera qu'augmenter, stimulant l'innovation dans la génération et la validation efficaces de ces explications.