L'interprétabilité mécaniste (parfois abrégée en mech interp, mechinterp ou MI) est un sous-domaine de recherche au sein de l'intelligence artificielle explicable qui vise à comprendre le fonctionnement interne des réseaux de neurones en analysant leurs structures concrètes, leurs algorithmes et leurs circuits. Cette approche cherche à analyser les réseaux de neurones d'une manière similaire à la rétro-ingénierie de logiciels conventionnels, allant au-delà des explications en boîte noire pour identifier des mécanismes spécifiques qui pilotent le comportement du modèle. Le domaine a connu une croissance rapide depuis le début des années 2020, avec des contributions significatives d'organisations de recherche telles que Anthropic, OpenAI et Google DeepMind, ainsi que d'institutions académiques comme MIT CSAIL, Stanford AI Lab et BAIR (Berkeley AI Research).
L'interprétabilité mécaniste s'inscrit dans le contexte plus large de l'IA explicable, mais se distingue en se concentrant sur une analyse causale et structurelle plutôt que sur des méthodes d'attribution post-hoc. Elle s'appuie sur des concepts issus de l'apprentissage automatique, de l'apprentissage profond et de la théorie des réseaux de neurones, et elle est devenue particulièrement pertinente pour auditer les grands modèles de langage et d'autres systèmes d'IA générative. L'objectif ultime est de fournir un niveau de compréhension comparable à celui de l'ingénierie logicielle traditionnelle, où le code peut être inspecté, débogué et vérifié.
Histoire
Le terme « interprétabilité mécaniste » a été inventé par Chris Olah, cofondateur d'Anthropic, pour décrire son travail sur l'analyse de circuits par opposition aux méthodes habituelles en IA interprétable. L'analyse de circuits tentait de caractériser complètement les caractéristiques et les circuits individuels au sein des modèles, tandis que le domaine plus large tendait vers des approches basées sur les gradients, comme les cartes de saillance. Les premiers travaux d'Olah, menés pendant son passage chez OpenAI puis chez Anthropic, ont jeté les bases d'une approche plus rigoureuse et ascendante pour comprendre les réseaux de neurones.
Avant l'analyse de circuits, les travaux dans ce sous-domaine combinaient diverses techniques telles que la visualisation de caractéristiques, la réduction de dimensionnalité et l'attribution avec des méthodes d'interaction homme-machine pour analyser des modèles comme le modèle de vision Inception v1. Ces premiers efforts, qui impliquaient également des chercheurs de Google DeepMind et de laboratoires académiques, ont démontré que les réseaux de neurones encodent souvent des caractéristiques interprétables dans leurs couches intermédiaires, mais ils manquaient d'une méthodologie systématique pour vérifier les relations causales.
Le domaine a pris de l'ampleur à la fin des années 2010 et au début des années 2020, alors que les modèles basés sur les transformeurs sont devenus dominants. Des chercheurs tels que Jacob Steinhardt, Llion Jones et d'autres chez Anthropic et OpenAI ont commencé à publier des analyses de circuits détaillées de petits modèles, puis ont étendu ces techniques à des systèmes plus grands. En 2023, l'interprétabilité mécaniste était devenue un sous-domaine reconnu avec des ateliers dédiés, des conférences et des initiatives de financement.
Concepts clés
L'interprétabilité mécaniste vise à identifier des structures, des circuits ou des algorithmes encodés dans les poids des modèles d'apprentissage automatique. Cela contraste avec les méthodes d'interprétabilité antérieures qui se concentraient principalement sur des explications en « boîte noire », comme les cartes de saillance ou l'attribution de caractéristiques. L'hypothèse centrale est que les réseaux de neurones, malgré leur complexité, implémentent des calculs discrets et analysables qui peuvent être rétro-ingéniérés.
Un concept central est la « caractéristique », qui désigne une direction ou un motif dans l'espace d'activation correspondant à un concept compréhensible par l'humain, comme un objet spécifique, une catégorie sémantique ou un rôle syntaxique. Les caractéristiques sont souvent identifiées à l'aide de techniques comme les autoencodeurs parcimonieux ou la réduction de dimensionnalité. Un autre concept clé est le « circuit », qui est une chaîne causale d'activations de caractéristiques reliant les entrées aux sorties. En cartographiant les circuits, les chercheurs peuvent tracer comment un modèle traite l'information et prend des décisions.
Hypothèse de représentation linéaire
Cette hypothèse suggère que les concepts de haut niveau sont représentés comme des directions linéaires dans l'espace d'activation des réseaux de neurones. Des preuves empiriques issues des plongements de mots et des grands modèles de langage soutiennent cette vision, bien qu'elle ne soit pas universellement valable. Par exemple, dans de nombreux modèles basés sur les transformeurs, des concepts comme le genre, le temps ou le sentiment peuvent être manipulés en ajoutant ou en soustrayant des vecteurs spécifiques, indiquant une structure linéaire. Cependant, certains concepts semblent être distribués de manière non linéaire, et l'hypothèse reste un domaine de recherche actif.
L'hypothèse de représentation linéaire a des implications pratiques pour l'interprétabilité, car elle suggère que les caractéristiques peuvent être identifiées à l'aide de techniques simples d'algèbre linéaire, comme l'analyse en composantes principales ou l'apprentissage de dictionnaires parcimonieux. Elle sous-tend également de nombreuses approches d'autoencodeurs parcimonieux, qui visent à récupérer ces directions linéaires à partir des activations brutes.
Méthodes
L'interprétabilité mécaniste emploie des méthodes causales pour comprendre comment les composants internes du modèle influencent les sorties, utilisant souvent des outils formels issus de la théorie de la causalité. Ces méthodes incluent le patchage d'activations, où les activations d'une entrée sont substituées à une autre pour observer les changements dans la sortie ; les études d'ablation, où des composants spécifiques sont supprimés ou mis à zéro ; et l'attribution basée sur les gradients, bien que le domaine préfère généralement les interventions causales aux méthodes corrélationnelles.
Un pipeline d'analyse typique implique plusieurs étapes : d'abord, un modèle est entraîné ou sélectionné, souvent un petit transformeur ou un réseau résiduel pour les tâches de vision. Ensuite, les chercheurs identifient des caractéristiques candidates à l'aide de techniques comme la visualisation de caractéristiques ou les autoencodeurs parcimonieux. Puis, ils effectuent des expériences causales pour vérifier que ces caractéristiques jouent un rôle dans des comportements spécifiques. Enfin, ils construisent des diagrammes de circuits qui résument les interactions entre les caractéristiques et les couches.
L'interprétabilité mécaniste, dans le domaine de la sécurité de l'IA, est utilisée pour comprendre et vérifier le comportement de systèmes d'IA complexes, et pour tenter d'identifier des risques potentiels tels que le désalignement de l'IA. En fournissant une vue granulaire des internals du modèle, elle vise à permettre la détection de comportements trompeurs ou non intentionnels avant qu'ils ne se manifestent dans les sorties.
Autoencodeurs parcimonieux
Un autoencodeur parcimonieux (SAE) est un modèle entraîné à désentrelacer les activations des réseaux de neurones en représentations parcimonieuses. Les dimensions apprises représentent souvent des concepts simples et compréhensibles par l'humain. La technique a été appliquée à l'interprétabilité des grands modèles de langage par Anthropic en 2023 et 2024, avec un succès notable dans l'extraction de caractéristiques interprétables à partir de modèles comme Claude. Les SAE fonctionnent en reconstruisant les activations à partir d'un petit ensemble de caractéristiques actives, encourageant le réseau à apprendre une base parcimonieuse et surcomplète.
Les SAE ont été utilisés pour identifier des caractéristiques pour des concepts tels que des entités spécifiques, des émotions et même des schémas de raisonnement abstraits. Ils sont particulièrement utiles pour analyser les grands modèles de langage, où l'espace d'activation est de haute dimension et densément peuplé. Cependant, les SAE peuvent être coûteux en calcul à entraîner, et les caractéristiques résultantes peuvent ne pas toujours s'aligner parfaitement avec les catégories humaines.
Caractéristiques et circuits
Un circuit dans un réseau de neurones est composé de chaînes causales d'activations de caractéristiques. En cartographiant quels circuits mènent à quelles conséquences en aval, ainsi qu'en activant et en inhibant les circuits, on peut analyser comment un réseau de neurones (comme un LLM) atteint un résultat donné à partir d'une entrée donnée. Par exemple, les chercheurs ont identifié des circuits pour des tâches comme l'identification d'objets indirects, où un modèle prédit correctement le destinataire d'une action, et pour des opérations arithmétiques dans de petits transformeurs.
L'analyse de circuits implique souvent des techniques comme le patchage d'activations et la loupe logit, qui permettent aux chercheurs d'inspecter les représentations intermédiaires. Dans les modèles de vision, des circuits ont été trouvés pour détecter les bords, les textures et les parties d'objets, tandis que dans les modèles de langage, des circuits ont été cartographiés pour l'accord syntaxique, le rappel factuel et même certaines formes de raisonnement. L'objectif est de construire une bibliothèque complète de circuits qui peuvent être réutilisés et vérifiés à travers les modèles.
Applications et implications
L'interprétabilité mécaniste a plusieurs applications pratiques. Dans la sécurité de l'IA, elle est utilisée pour auditer les modèles afin de détecter des biais cachés, des portes dérobées ou des objectifs désalignés. Par exemple, les chercheurs ont utilisé l'analyse de circuits pour détecter quand un modèle pourrait s'appuyer sur des corrélations fallacieuses ou quand il pourrait présenter un comportement sycophante. Dans le débogage de modèles, l'interprétabilité peut aider les ingénieurs à identifier pourquoi un modèle échoue sur des entrées spécifiques et à guider le fine-tuning ou le réentraînement.
Le domaine informe également la conception d'architectures plus interprétables. Certains chercheurs proposent de construire des modèles avec une interprétabilité intégrée, comme l'utilisation d'autoencodeurs parcimonieux comme couche ou l'incorporation de représentations désentrelacées. Cependant, ces approches sont encore expérimentales, et il y a un débat sur la possibilité d'atteindre l'interprétabilité sans sacrifier la performance.
En 2025, l'interprétabilité mécaniste reste un domaine en évolution rapide avec des défis ouverts. L'analyse à grande échelle de modèles comme GPT-4 ou Claude 3 est intensive en calcul, et la complexité des circuits croît avec la taille du modèle. De plus, il y a une discussion continue sur les fondements théoriques, certains chercheurs remettant en question la possibilité de rétro-ingéniérer complètement les réseaux de neurones étant donné leurs processus d'entraînement stochastiques.
Voir aussi
- alignement de l'IA
- IA explicable
- autoencodeur parcimonieux
- analyse de circuits
- visualisation de caractéristiques
- patchage d'activations
Références
- Olah, C., et al. (2020). « Zoom In : An Introduction to Circuits. » Distill.
- Elhage, N., et al. (2021). « A Mathematical Framework for Transformer Circuits. » Anthropic.
- Cunningham, H., et al. (2023). « Sparse Autoencoders Find Highly Interpretable Features in Language Models. » Anthropic.
- Nanda, N., et al. (2023). « Emergent Linear Representations in World Models of Self-Supervised Sequence Models. » BlackNLP Workshop.
Lectures complémentaires
- Bricken, T., et al. (2023). « Towards Monosemanticity : Decomposing Language Models With Dictionary Learning. » Anthropic.
- Lieberum, T., et al. (2023). « Does Circuit Analysis Interpretability Scale ? Evidence from Multiple Choice Capabilities in Chinchilla. » DeepMind.
- Rauker, T., et al. (2023). « Towards Interpretable Deep Learning : A Review. » arXiv.