La sensibilité à l'occlusion est une technique utilisée en apprentissage automatique et en intelligence artificielle pour interpréter le comportement de modèles entraînés, en particulier les réseaux de neurones. Elle fonctionne en masquant ou en perturbant systématiquement des régions spécifiques d'une entrée (telle qu'une image, un segment de texte ou une fenêtre audio) et en observant comment la prédiction du modèle change. Si l'occlusion d'une région particulière provoque une baisse significative de la confiance ou un changement dans la classe prédite, cette région est considérée comme importante pour la décision du modèle. Inversement, si la prédiction reste inchangée, la région est jugée non essentielle. Cette méthode est indépendante du modèle, ce qui signifie qu'elle peut être appliquée à tout modèle prédictif sans nécessiter l'accès aux gradients internes ou aux détails de l'architecture.
Cette approche a été popularisée dans le contexte de la vision par ordinateur, où les chercheurs faisaient glisser un carré gris ou un patch flouté sur une image et enregistraient la sortie du modèle à chaque position. Cela produit une carte de chaleur ou une carte de saillance qui met en évidence les zones de l'entrée qui influencent le plus la prédiction. La technique est intuitive et facile à implémenter, ce qui en fait une référence courante pour évaluer des méthodes d'interprétabilité plus sophistiquées. Cependant, elle est coûteuse en calcul car elle nécessite plusieurs passages avant, un pour chaque région occluse, et le choix de la taille de l'occlusion et du pas peut affecter les résultats.
Contexte historique
Le concept de sensibilité à l'occlusion est issu des premiers efforts pour comprendre ce que les modèles d'apprentissage profond apprennent réellement. Dans les années 2010, alors que les modèles de apprentissage profond commençaient à atteindre des résultats de pointe sur les tâches de classification d'images, les chercheurs ont cherché à expliquer leurs décisions. L'un des articles les plus anciens et les plus influents démontrant la sensibilité à l'occlusion a été publié en 2014 par des chercheurs de Université de Stanford et d'autres institutions. Ils ont utilisé un carré gris pour occlure des parties d'une image et ont montré que les cartes de chaleur résultantes correspondaient à l'intuition humaine, comme mettre en évidence le visage d'un chien lors de sa classification comme chien.
Ce travail s'est appuyé sur des recherches antérieures en vision par ordinateur qui utilisaient l'occlusion pour la détection et la reconnaissance d'objets. L'idée de perturber les entrées pour évaluer l'importance a également des racines dans l'analyse de sensibilité classique, où les statisticiens et les ingénieurs étudiaient comment les variations de sortie dépendent des variations d'entrée. Dans la communauté de l'apprentissage automatique, la sensibilité à l'occlusion est devenue un outil standard dans la boîte à outils d'interprétabilité, souvent utilisée comme test de validation pour les méthodes basées sur les gradients comme les cartes de saillance ou les visualisations de gradients.
Méthodologie et implémentation
La procédure de base pour la sensibilité à l'occlusion implique plusieurs étapes. Tout d'abord, un modèle entraîné est sélectionné et un échantillon d'entrée est préparé. Pour les images, l'entrée est généralement un tenseur de taille fixe. Une fenêtre d'une certaine taille (par exemple, 15x15 pixels) est définie, et un masque est créé qui définit tous les pixels dans cette fenêtre à une valeur constante, souvent zéro (noir), la valeur moyenne des pixels ou un flou. L'entrée masquée est passée à travers le modèle, et la probabilité de sortie pour la classe prédite d'origine est enregistrée. Ce processus est répété en faisant glisser la fenêtre sur toute l'entrée, généralement avec un pas qui peut être plus petit que la taille de la fenêtre pour créer des régions qui se chevauchent.
Le résultat est une carte 2D de scores, où chaque score représente la confiance du modèle lorsque cette région est cachée. Des scores plus bas indiquent une importance plus élevée. Ces scores peuvent être visualisés comme une carte de chaleur, souvent superposée à l'image d'origine. Pour les entrées textuelles, l'occlusion peut être appliquée en masquant des jetons individuels ou des plages de jetons, en les remplaçant par un jeton spécial [MASK] ou un espace vide. Pour l'audio, des patchs temps-fréquence peuvent être mis à zéro.
Plusieurs variantes existent. Au lieu d'un masque constant, on peut utiliser un bruit aléatoire, ce qui teste la sensibilité du modèle aux perturbations plutôt qu'à l'absence d'information. Une autre variante consiste à utiliser une fenêtre glissante avec différentes tailles pour capturer des caractéristiques à plusieurs échelles. Le choix de la valeur d'occlusion est important : utiliser des pixels noirs peut introduire des bords artificiels, tandis que la valeur moyenne des pixels est plus neutre. Certaines implémentations utilisent une version floutée de la région d'origine pour préserver les statistiques locales.
Applications en vision par ordinateur
La sensibilité à l'occlusion a été largement appliquée dans des tâches de vision par ordinateur telles que la classification d'images, la détection d'objets et l'analyse d'images médicales. En imagerie médicale, par exemple, les chercheurs ont utilisé la sensibilité à l'occlusion pour vérifier qu'un modèle diagnostiquant des lésions cutanées ou des nodules pulmonaires se concentre sur des régions cliniquement pertinentes plutôt que sur des artefacts parasites. Cela est crucial pour établir la confiance dans les systèmes de diagnostic automatisés.
Dans la conduite autonome, la sensibilité à l'occlusion peut aider à identifier quelles parties d'une scène (par exemple, les piétons, les panneaux de signalisation ou les marquages au sol) un modèle utilise pour ses décisions. Cela aide au débogage et à l'analyse de sécurité. Par exemple, si un modèle ignore systématiquement un panneau d'arrêt lorsqu'un certain arrière-plan est occlus, cela peut indiquer un biais.
La technique est également utilisée pour la localisation d'objets sans supervision explicite. En trouvant la région dont l'occlusion provoque la plus grande baisse de probabilité de classe, on peut approximer la boîte englobante de l'objet. C'est ce qu'on appelle une approche de type carte d'activation de classe, bien qu'elle soit plus intensive en calcul.
Applications en traitement du langage naturel
En traitement du langage naturel, la sensibilité à l'occlusion est appliquée aux transformeurs et aux grands modèles de langage pour comprendre quels mots ou phrases pilotent les prédictions. Par exemple, dans l'analyse de sentiment, occlure le mot "pas" dans une phrase comme "Je n'aime pas ce film" devrait modifier considérablement la prédiction. Cela aide à vérifier que les modèles utilisent la négation logique plutôt que des indices superficiels.
Pour la réponse aux questions, occlure des entités clés dans le contexte peut révéler si le modèle raisonne réellement ou s'appuie sur des raccourcis. En traduction automatique, occlure des jetons sources peut montrer quels mots sont les plus influents pour générer un mot cible particulier. Cela est particulièrement utile pour déboguer les erreurs de traduction.
Cependant, l'occlusion dans le texte est plus difficile car le langage est discret et dépendant du contexte. Masquer un seul jeton peut changer la structure grammaticale, et le modèle peut réagir au jeton de masque lui-même plutôt qu'à l'absence d'information. Les chercheurs utilisent souvent plusieurs stratégies de masquage, comme le remplacement par un jeton aléatoire ou un espace vide, pour atténuer cela.
Relation avec d'autres méthodes d'interprétabilité
La sensibilité à l'occlusion est souvent comparée aux méthodes basées sur les gradients comme les cartes de saillance, qui calculent le gradient de la sortie par rapport à l'entrée. Les méthodes de gradient sont rapides mais peuvent être bruitées et ne pas capturer la véritable importance des caractéristiques qui interagissent de manière non linéaire. La sensibilité à l'occlusion est plus robuste à cet égard car elle mesure directement l'effet de la suppression d'information, mais elle est plus lente.
Une autre méthode connexe est l'élagage de modèle, qui supprime des parties du modèle lui-même plutôt que de l'entrée. La sensibilité à l'occlusion est également similaire à l'augmentation de données en ce sens que les deux impliquent de perturber les entrées, mais le but diffère : l'augmentation vise à améliorer la généralisation, tandis que l'occlusion vise à expliquer les prédictions.
La technique est parfois utilisée comme référence pour évaluer des méthodes plus récentes comme les mécanismes d'attention ou l'attribution de couches. Si une nouvelle méthode produit des cartes de chaleur qui diffèrent radicalement de la sensibilité à l'occlusion, elle peut être suspecte. Cependant, la sensibilité à l'occlusion n'est pas sans limites, et les chercheurs ont noté qu'elle peut être trompeuse lorsque les caractéristiques sont corrélées.
Limites et défis
Une limite majeure est le coût de calcul. Pour une image de 224x224 avec une fenêtre d'occlusion de 16x16 et un pas de 8, il y a environ 676 passages avant. Pour les grands modèles comme les transformeurs avec des milliards de paramètres, cela devient prohibitif. Plusieurs stratégies ont été proposées pour réduire ce coût, comme utiliser un sous-ensemble plus petit de régions d'occlusion ou approximer l'effet avec des gradients.
Un autre défi est le choix de la valeur d'occlusion. Utiliser des pixels noirs peut introduire des bords haute fréquence que le modèle peut interpréter comme une nouvelle caractéristique, conduisant à une fausse importance. Utiliser la valeur moyenne des pixels est plus neutre mais peut ne pas refléter des scénarios réalistes. Le floutage est une alternative mais nécessite un réglage minutieux des paramètres.
La sensibilité à l'occlusion suppose également que les caractéristiques sont indépendantes. Si deux régions sont conjointement importantes mais individuellement non essentielles, occlure l'une à la fois ne révélera pas leur signification combinée. C'est ce qu'on appelle le "problème de masquage" et c'est une limitation fondamentale des méthodes basées sur la perturbation. Certaines extensions, comme occlure plusieurs régions simultanément ou utiliser une recherche gloutonne, tentent de résoudre cela.
Développements récents et orientations futures
Avec l'essor de l'IA générative et des grands modèles de langage, la sensibilité à l'occlusion a été adaptée pour les tâches de génération de texte. Par exemple, les chercheurs l'ont utilisée pour déterminer quels jetons de prompt sont les plus responsables d'une réponse générée. Cela est utile pour l'ingénierie de prompt et pour détecter les biais dans les sorties du modèle.
Dans les modèles multimodaux qui traitent à la fois des images et du texte, la sensibilité à l'occlusion peut être appliquée aux deux modalités, révélant des dépendances intermodales. Par exemple, occlure une région dans une image peut affecter la réponse du modèle à une question sur cette région, même si la question ne la mentionne pas explicitement.
Des travaux récents ont également exploré l'utilisation de la sensibilité à l'occlusion pour la robustesse adversarial. En identifiant les régions d'entrée hautement sensibles, on peut générer des exemples adversariaux plus efficaces ou, inversement, se défendre contre eux en lissant ces régions. Cela est lié à la recherche sur la robustesse adversarial et l'entraînement robuste.
À mesure que les modèles deviennent plus complexes, le besoin d'une interprétabilité fiable croît. La sensibilité à l'occlusion reste un outil précieux car elle est simple, intuitive et indépendante du modèle. Les développements futurs pourraient se concentrer sur la rendre plus efficace grâce à des approximations ou sur son intégration avec d'autres techniques comme l'attention ou les connexions résiduelles pour fournir une image plus complète du comportement du modèle.
Considérations pratiques
Lors de l'application de la sensibilité à l'occlusion en pratique, plusieurs paramètres doivent être choisis. La taille de l'occlusion doit être suffisamment grande pour couvrir des caractéristiques significatives mais suffisamment petite pour fournir une résolution spatiale. Le pas détermine la granularité de la carte de chaleur. La valeur d'occlusion doit être choisie en fonction de la distribution des données. Pour les images, utiliser la valeur moyenne des pixels du jeu de données est courant. Pour le texte, utiliser un jeton de masque spécial est standard.
Il est également important de considérer la prédiction de base. Si le modèle est déjà incertain, l'occlusion peut avoir peu d'effet. Par conséquent, elle est souvent appliquée à des échantillons correctement classés avec une haute confiance. De plus, les résultats peuvent être agrégés sur plusieurs échantillons pour produire une carte d'importance plus stable.
Enfin, la sensibilité à l'occlusion doit être utilisée en conjonction avec d'autres méthodes d'interprétabilité. Aucune technique unique n'est parfaite, et trianguler les résultats de plusieurs approches peut fournir des informations plus fiables. Cela est particulièrement important dans des domaines à enjeux élevés comme la santé et la finance, où les explications ne sont pas seulement un plus mais sont requises pour la conformité réglementaire.
En résumé, la sensibilité à l'occlusion est une technique d'interprétabilité fondamentale qui reste pertinente à l'ère de l'IA à grande échelle. Sa simplicité et sa robustesse en font un outil de première ligne pour comprendre les décisions des modèles, malgré son coût de calcul et ses limites inhérentes.