Explication contrefactuelle

Une explication contrefactuelle est une méthode en interprétabilité de l'apprentissage automatique qui identifie le plus petit changement dans les caractéristiques d'une entrée qui entraînerait un modèle à produire une prédiction différente. Elle répond à la question : « Qu'est-ce qui devrait être différent pour que le résultat change ? » Par exemple, si une demande de prêt est rejetée, une explication contrefactuelle pourrait indiquer que la demande aurait été approuvée si le revenu du demandeur était supérieur de 5 000 $. Cette approche aide les utilisateurs à comprendre le comportement du modèle, à instaurer la confiance et à identifier les biais ou erreurs potentiels.

Les explications contrefactuelles sont une forme d'explication post-hoc, ce qui signifie qu'elles sont générées après qu'un modèle a fait une prédiction, sans modifier le modèle lui-même. Elles sont particulièrement utiles pour les modèles complexes tels que les réseaux de neurones profonds et les grands modèles de langage, où le raisonnement interne est opaque. En se concentrant sur des changements minimaux de l'entrée, les contrefactuels fournissent des informations exploitables souvent plus intuitives que d'autres méthodes d'explication, comme les scores d'importance des caractéristiques.

Contexte historique

Le concept de raisonnement contrefactuel trouve ses racines en philosophie et en sciences cognitives, où il fait référence à l'imagination de scénarios alternatifs qui contredisent des faits connus. Dans le contexte de l'intelligence artificielle, le terme a gagné en importance dans les années 2010, alors que les chercheurs cherchaient à rendre les modèles d'apprentissage automatique plus interprétables. Un article fondateur de Sandra Wachter, Brent Mittelstadt et Chris Russell en 2017 a formalisé les explications contrefactuelles pour la prise de décision algorithmique, proposant qu'elles puissent satisfaire aux exigences légales d'explication en vertu de réglementations telles que le Règlement général sur la protection des données (RGPD) de l'Union européenne.

Depuis lors, des méthodes d'explication contrefactuelle ont été développées pour divers types de modèles, notamment les réseaux de neurones, les transformeurs et les réseaux résiduels. Elles ont été appliquées dans des domaines tels que la finance, la santé et la justice pénale, où la compréhension des prédictions individuelles est cruciale.

Comment fonctionnent les explications contrefactuelles

Les algorithmes d'explication contrefactuelle recherchent généralement l'entrée la plus proche qui change la prédiction du modèle. La recherche est guidée par une métrique de distance, telle que la distance euclidienne ou la distance de Manhattan, qui mesure l'ampleur du changement nécessaire à l'entrée. L'objectif est de trouver un contrefactuel aussi similaire que possible à l'entrée d'origine tout en produisant un résultat différent.

Formellement, étant donné une entrée x et un modèle f, un contrefactuel x' est recherché tel que f(x') ≠ f(x) et que la distance d(x, x') soit minimisée. Des contraintes supplémentaires peuvent être imposées, comme exiger que certaines caractéristiques restent inchangées (par exemple, l'âge ou le sexe) ou que le contrefactuel soit plausible (c'est-à-dire qu'il se situe dans la distribution des données).

Des techniques d'optimisation, comme la descente de gradient, sont souvent utilisées pour trouver des contrefactuels. Pour les modèles différentiables, les gradients peuvent guider la recherche vers des entrées qui changent la prédiction. Pour les modèles non différentiables, des algorithmes génétiques ou une recherche aléatoire peuvent être employés.

Applications

Les explications contrefactuelles sont utilisées dans divers scénarios pratiques :

• Finance : Dans la notation de crédit, elles aident les demandeurs de prêt à comprendre pourquoi leur demande a été refusée et ce qu'ils pourraient changer pour améliorer leurs chances. Par exemple, une banque pourrait utiliser une explication contrefactuelle pour dire à un client qu'augmenter son score de crédit de 20 points entraînerait une approbation.
• Santé : Dans le diagnostic médical, les contrefactuels peuvent montrer aux cliniciens quelles caractéristiques du patient (par exemple, la tension artérielle, le taux de cholestérol) devraient changer pour réduire le risque d'une prédiction de maladie, facilitant ainsi la planification du traitement.
• Justice pénale : Dans l'évaluation du risque de récidive, les contrefactuels peuvent mettre en évidence les facteurs, tels que le statut d'emploi ou les infractions antérieures, qui devraient changer pour réduire un score de risque, bien que des préoccupations éthiques surgissent quant à l'utilisation de telles explications pour justifier des décisions.
• Systèmes autonomes : Dans les voitures autonomes et Tesla Autopilot, les explications contrefactuelles peuvent aider les ingénieurs à comprendre pourquoi un véhicule a pris une décision particulière, comme freiner ou changer de voie, en identifiant les changements minimaux des entrées des capteurs qui auraient conduit à une action différente.

Défis et limites

Malgré leur utilité, les explications contrefactuelles font face à plusieurs défis :

• Contrefactuels multiples : Il peut y avoir de nombreux changements tout aussi minimaux qui modifient une prédiction. Le choix de celui à présenter peut être subjectif et influencer la perception de l'utilisateur.
• Plausibilité : Les contrefactuels peuvent suggérer des changements irréalistes ou impossibles (par exemple, changer l'âge ou le sexe). Garantir que les contrefactuels soient exploitables et dans le domaine des données est un domaine de recherche actif.
• Causalité : Les explications contrefactuelles ne sont pas causales ; elles décrivent uniquement des corrélations. Modifier une caractéristique en réalité peut ne pas conduire au résultat prédit si les relations causales diffèrent.
• Coût computationnel : Pour les modèles complexes, trouver des contrefactuels peut être coûteux en calcul, surtout dans les applications en temps réel.
• Utilisation adversariale : Les contrefactuels peuvent être exploités pour trouver des entrées qui trompent le modèle, similaires aux exemples adversariaux, ce qui soulève des préoccupations de sécurité.

Relation avec d'autres méthodes d'interprétabilité

Les explications contrefactuelles sont liées mais distinctes d'autres techniques d'interprétabilité :

• Attribution des caractéristiques : Des méthodes comme SHAP (SHapley Additive exPlanations) attribuent des scores d'importance aux caractéristiques, indiquant dans quelle mesure chacune a contribué à une prédiction. Les contrefactuels montrent plutôt comment modifier ensemble des caractéristiques peut changer le résultat.
• Explications contrastives : Elles expliquent pourquoi une prédiction a été faite plutôt qu'une autre, souvent en soulignant les différences entre le cas réel et le cas alternatif.
• Exemples adversariaux : Alors que les exemples adversariaux visent à tromper le modèle avec des changements imperceptibles, les contrefactuels cherchent des changements significatifs et compréhensibles par l'humain qui mènent à un résultat différent.

Développements récents

La recherche sur les explications contrefactuelles s'est rapidement développée. En 2020, des chercheurs de Google DeepMind et d'autres institutions ont proposé des méthodes pour générer des contrefactuels parcimonieux (changeant peu de caractéristiques) et diversifiés (offrant plusieurs alternatives). En 2021, des travaux sur les contrefactuels causaux ont intégré des modèles causaux structurels pour garantir que les changements respectent les relations de cause à effet.

Avec l'essor de l'IA générative et des grands modèles de langue, les explications contrefactuelles ont été appliquées aux données textuelles et image. Par exemple, en traitement du langage naturel, les explications contrefactuelles peuvent montrer comment modifier quelques mots d'un avis changerait la classification de sentiment. En vision par ordinateur, elles peuvent mettre en évidence quels pixels ou régions, lorsqu'ils sont modifiés, changeraient la classification d'une image.

Des entreprises comme OpenAI et Anthropic ont exploré les contrefactuels pour améliorer la robustesse et l'interprétabilité des modèles. Par exemple, l'augmentation contrefactuelle de données - générer des exemples modifiés - a montré qu'elle améliore la généralisation des modèles.

Considérations éthiques et réglementaires

Les explications contrefactuelles ont été proposées comme un moyen de satisfaire au « droit à l'explication » prévu par le RGPD. Cependant, on débat de leur capacité à fournir une transparence suffisante. Les critiques soutiennent que les contrefactuels peuvent être trompeurs s'ils impliquent des relations causales qui n'existent pas. Par exemple, dire à un demandeur de prêt refusé qu'augmenter son revenu de 5 000 $ mènerait à l'approbation pourrait être incorrect si la décision du modèle est influencée par d'autres facteurs non divulgués.

De plus, les contrefactuels peuvent être utilisés pour manipuler les individus. Par exemple, un prêteur pourrait présenter un contrefactuel suggérant un changement en réalité impossible, comme abaisser l'âge, pour décourager les recours. Les directives éthiques soulignent la nécessité de présenter les contrefactuels avec des réserves appropriées et de ne pas les utiliser pour induire en erreur.

Relations avec d'autres méthodes d'interprétabilité

Les explications contrefactuelles sont liées mais distinctes d'autres techniques d'interprétabilité :

• Attribution de caractéristiques : Des méthodes comme SHAP attribuent des scores d'importance aux caractéristiques, indiquant leur contribution à une prédiction. Les contrefactuels montrent plutôt comment modifier ensemble plusieurs caractéristiques peut changer le résultat.
• Explications contrastives : Elles expliquent pourquoi une prédiction a été faite plutôt qu'une autre, souvent en mettant en évidence les différences entre la prédiction réelle et une alternative.
• **Ex