Le patch d'activations est une technique d'intervention causale utilisée en interprétabilité mécaniste, un sous-domaine de l'intelligence artificielle explicable qui vise à comprendre le fonctionnement interne des réseaux de neurones en analysant leurs structures, algorithmes et circuits concrets. La méthode consiste à modifier les activations de neurones, de couches ou de têtes d'attention spécifiques lors d'une passe avant et à observer le changement résultant dans la sortie du modèle. En intervenant systématiquement sur les états internes, les chercheurs peuvent mesurer la contribution causale de composants individuels au comportement d'un modèle, en rétro-ingénieriant efficacement le réseau de manière similaire au débogage logiciel conventionnel.
La technique est centrale à l'objectif plus large de l'interprétabilité mécaniste, qui cherche à identifier les structures, circuits ou algorithmes encodés dans les poids des modèles d'apprentissage automatique. Contrairement aux méthodes d'interprétabilité antérieures qui se concentraient principalement sur des explications de « boîte noire », telles que les cartes de saillance ou l'attribution par gradient, le patch d'activations fournit un lien causal direct entre les états internes et les sorties. Cela en fait un outil puissant pour vérifier le comportement du modèle, détecter des risques potentiels tels que le désalignement de l'IA, et comprendre comment les grands modèles de langage (LLM) et autres réseaux de neurones atteignent des conclusions spécifiques à partir d'entrées données.
Origines et développement
Le terme « interprétabilité mécaniste » a été inventé par Chris Olah, cofondateur d'Anthropic, comme description de son travail sur l'analyse de circuits, qui contrastait avec les méthodes habituelles en IA interprétable. L'analyse de circuits tentait de caractériser complètement les caractéristiques et circuits individuels au sein des modèles, tandis que le domaine plus large tendait vers des approches basées sur le gradient comme les cartes de saillance. Avant l'analyse de circuits, le travail dans ce sous-domaine combinait diverses techniques telles que la visualisation de caractéristiques, la réduction de dimensionnalité et l'attribution avec des méthodes d'interaction homme-machine pour analyser des modèles comme le modèle de vision Inception v1.
Le patch d'activations est apparu comme une extension naturelle de l'analyse de circuits, offrant un moyen de tester des hypothèses sur les composants qui importent pour un comportement donné. Les premières applications se concentraient sur les modèles de vision, mais la technique a gagné en importance avec l'essor des grands modèles de langage basés sur les transformeurs, où elle est devenue un outil standard pour étudier les têtes d'attention, les flux résiduels et les réseaux feed-forward. Des chercheurs d'institutions telles qu'Anthropic, OpenAI et Google DeepMind ont depuis affiné la méthode, en l'intégrant à d'autres outils d'interprétabilité comme les autoencodeurs parcimonieux.
Principes fondamentaux
Le patch d'activations repose sur le principe que les représentations internes d'un réseau de neurones encodent l'information de manière distribuée. L'activation d'un neurone ou d'une couche à un point donné de la passe avant est un vecteur qui capture un mélange de caractéristiques. En remplaçant cette activation par une valeur provenant d'une entrée différente (ou d'un cadre contrefactuel), les chercheurs peuvent observer comment la sortie change, isolant ainsi le rôle de ce composant.
La technique s'appuie sur l'hypothèse de représentation linéaire, qui suggère que les concepts de haut niveau sont représentés comme des directions linéaires dans l'espace d'activation des réseaux de neurones. Des preuves empiriques issues des plongements de mots et des grands modèles de langage soutiennent cette vision, bien qu'elle ne soit pas universellement valable. Le patch d'activations exploite cette linéarité en effectuant des interventions ciblées qui sont interprétables en termes de directions de concepts.
Méthodologie
Une expérience typique de patch d'activations implique trois passes avant. Premièrement, une passe de référence est exécutée avec une entrée propre pour enregistrer la sortie du modèle et stocker les activations d'intérêt. Deuxièmement, une passe corrompue est exécutée avec une entrée modifiée (par exemple, une phrase avec un nom clé remplacé) pour produire une sortie différente et stocker les activations corrompues. Troisièmement, une passe patchée est exécutée où les activations de la passe corrompue sont remplacées par celles de la passe propre à des couches ou têtes spécifiques, et la sortie est comparée à la référence.
La différence de sortie entre les passes patchée et corrompue indique l'effet causal du composant patché. Si le patchage d'une tête particulière restaure la sortie originale, cette tête est probablement critique pour la tâche. Inversement, si le patchage n'a aucun effet, le composant est probablement redondant ou non pertinent. Ce processus peut être répété sur tous les composants pour produire une carte causale du réseau, souvent visualisée sous forme de carte de chaleur ou de graphe.
Applications dans les grands modèles de langage
Le patch d'activations est devenu une pierre angulaire de l'interprétabilité mécaniste pour les grands modèles de langage. Les chercheurs l'utilisent pour identifier quelles têtes d'attention sont responsables de phénomènes linguistiques spécifiques, tels que l'accord sujet-verbe, la résolution de coréférence ou le rappel factuel. Par exemple, dans un modèle transformeur, patcher les activations d'une tête d'attention particulière lors d'une phrase comme « Le chat s'est assis sur le tapis » peut révéler si cette tête encode la relation entre « chat » et « s'est assis ».
La technique est également utilisée pour étudier le flux résiduel, la principale autoroute de l'information dans les transformeurs. En patchant le flux résiduel à différentes couches, les chercheurs peuvent tracer comment l'information circule de l'entrée à la sortie et où elle est transformée. Cela a conduit à la découverte des têtes d'induction, responsables de la copie de motifs à partir du contexte, et d'autres circuits fonctionnels.
Relation avec les autoencodeurs parcimonieux
Le patch d'activations est souvent combiné avec les autoencodeurs parcimonieux (SAE), qui sont des modèles entraînés pour démêler les activations des réseaux de neurones en représentations parcimonieuses. Les dimensions apprises d'un SAE représentent souvent des concepts simples et compréhensibles par l'humain. En appliquant un SAE aux activations d'un modèle de langage, les chercheurs peuvent identifier quelles caractéristiques sont actives dans un contexte donné, puis patcher ces caractéristiques pour tester leur rôle causal. Anthropic a appliqué cette technique à l'interprétabilité des grands modèles de langage, utilisant des SAE pour décomposer les activations en caractéristiques interprétables, puis patchant ces caractéristiques pour vérifier leurs effets.
Cette combinaison permet des interventions plus granulaires que le patchage des activations brutes, car elle cible des directions de concepts spécifiques plutôt que des couches entières. Elle aide également à relever le défi de la superposition, où de nombreuses caractéristiques sont regroupées dans un petit nombre de neurones.
Circuits et analyse causale
Un circuit dans un réseau de neurones est composé de chaînes causales d'activations de caractéristiques. En cartographiant quels circuits mènent à quelles conséquences en aval, ainsi qu'en activant et inhibant des circuits, on peut analyser comment un réseau de neurones (tel qu'un LLM) atteint un résultat donné à partir d'une entrée donnée. Le patch d'activations est l'outil principal pour cette cartographie, car il permet aux chercheurs de tester si un circuit hypothétique est réellement nécessaire pour un comportement.
Par exemple, dans un modèle de vision, un circuit pourrait consister en un ensemble de neurones qui détectent les bords, un autre ensemble qui détecte les coins, et un ensemble final qui reconnaît les objets. Patcher les activations des neurones de détection de bords avec des valeurs aléatoires perturberait tout le circuit, tandis que patcher une couche ultérieure pourrait avoir un effet plus localisé. Cette analyse hiérarchique aide à construire une image complète des algorithmes internes du modèle.
Limites et défis
Le patch d'activations présente plusieurs limites. Premièrement, il est coûteux en calcul, nécessitant plusieurs passes avant pour chaque composant testé. Pour les grands modèles avec des milliards de paramètres, cela peut être prohibitif. Deuxièmement, le choix de l'entrée corrompue est crucial ; une corruption mal choisie peut conduire à des résultats trompeurs. Troisièmement, la technique suppose que les composants agissent indépendamment, mais en réalité, les interactions entre composants peuvent confondre l'analyse.
De plus, le patch d'activations ne fournit qu'une vue locale et spécifique à l'entrée du modèle. Un composant critique pour une entrée peut être non pertinent pour une autre, donc les conclusions tirées d'une seule expérience peuvent ne pas se généraliser. Les chercheurs doivent souvent exécuter de nombreuses expériences sur des entrées diverses pour construire une compréhension robuste.
Orientations futures
Au milieu des années 2020, le patch d'activations est un domaine de recherche actif, avec des efforts concentrés sur la mise à l'échelle de la technique à des modèles plus grands et l'automatisation de la découverte de circuits. Des outils comme la bibliothèque TransformerLens ont facilité l'application du patchage aux modèles open-source, et des collaborations entre laboratoires académiques et groupes industriels tels qu'Anthropic et Google DeepMind accélèrent les progrès. L'objectif ultime est de développer une compréhension complète des internes des réseaux de neurones, ce qui pourrait informer les pratiques de sécurité de l'IA et conduire à des systèmes d'IA plus fiables et contrôlables.