L'interprétabilité mécaniste est un programme de recherche au sein de la sécurité de l'IA et de l'apprentissage automatique qui tente de rétro-ingénierer les poids entraînés d'un réseau de neurones en une description compréhensible par l'humain des algorithmes qu'il implémente, plutôt que de simplement approximer son comportement de l'extérieur comme le font la plupart des méthodes d'IA explicable. Cette approche traite un modèle entraîné de la même manière qu'un ingénieur en rétro-ingénierie pourrait traiter un code binaire compilé sans source : en sondant les neurones individuels, les couches et les combinaisons de poids, les chercheurs tentent de retrouver les caractéristiques discrètes et les circuits qu'un réseau utilise pour accomplir une tâche, avec pour objectif final de pouvoir prédire, vérifier ou modifier le comportement d'un modèle avec la même confiance que celle que l'on a en lisant son code source.
Origines
Les premiers travaux d'interprétabilité en vision par ordinateur, y compris la recherche sur la visualisation des caractéristiques associée au journal en ligne Distill, ont montré que des neurones individuels ou de petits groupes de neurones dans des classifieurs d'images tels que les modèles de réseaux de neurones convolutifs pouvaient correspondre à des concepts reconnaissables comme des courbes, des textures ou des parties d'objets. Chris Olah, cofondateur d'Anthropic et figure de proue du domaine, a contribué à populariser ce style d'analyse visuelle basé sur les circuits avant de l'étendre aux modèles de langage. L'essor de l'architecture transformeur et des systèmes de grands modèles de langage a déplacé l'attention du domaine vers la compréhension des têtes d'attention, des flux résiduels et des représentations internes qui permettent à un modèle d'effectuer des tâches telles que l'apprentissage en contexte.
Principales découvertes
Les chercheurs en interprétabilité ont identifié plusieurs phénomènes récurrents. La superposition décrit le fait que les réseaux de neurones représentent souvent plus de caractéristiques distinctes qu'ils n'ont de neurones, en regroupant plusieurs concepts dans des directions qui se chevauchent dans l'espace d'activation, ce qui rend les neurones individuels difficiles à interpréter isolément. Les autoencodeurs parcimonieux, une application de la technique plus large des autoencodeurs, ont été utilisés pour décomposer ces représentations qui se chevauchent en un ensemble beaucoup plus vaste de caractéristiques plus monosémantiques et interprétables individuellement ; les travaux d'Anthropic en 2024 identifiant des millions de ces caractéristiques dans un modèle Claude à l'échelle de la production, ainsi que les travaux ultérieurs localisant et modifiant des caractéristiques spécifiques pertinentes sur le plan comportemental, ont été parmi les résultats les plus discutés du domaine. D'autres lignes de travail ont identifié des circuits spécifiques responsables de capacités étroites, comme un mécanisme de « tête d'induction » qui permet aux modèles transformeurs de compléter des motifs répétés, et ont utilisé des outils d'interprétabilité pour détecter des signes de tromperie ou de mauvaise généralisation des objectifs à l'intérieur d'un modèle, plutôt que de se fier uniquement à sa sortie déclarée.
Motivation et enjeux
Les partisans soutiennent que l'interprétabilité mécaniste est l'une des rares directions de recherche qui pourrait donner aux humains un aperçu authentique de la question de savoir si un modèle très performant poursuit les objectifs qu'il semble poursuivre, plutôt que de se fier uniquement aux tests comportementaux, une préoccupation étroitement liée aux débats sur l'alignement et le détournement de récompense. Parce que l'interprétabilité vise à ouvrir la boîte noire directement plutôt qu'à l'expliquer après coup, certains chercheurs la considèrent comme un prérequis pour déployer en toute confiance des systèmes futurs beaucoup plus capables, y compris tout système se rapprochant de l'intelligence artificielle générale.
Limites
Le domaine reste loin d'une description complète de tout modèle de pointe ; les techniques actuelles passent mal à l'échelle des modèles de production, les caractéristiques des autoencodeurs parcimonieux ne couvrent pas proprement tout le comportement d'un réseau, et il n'existe pas de méthode convenue pour vérifier qu'une explication basée sur l'interprétabilité est complète plutôt que simplement plausible. Les chercheurs décrivent généralement l'interprétabilité mécaniste comme une science à un stade précoce, comparable en ambition, bien que pas encore en maturité, à la tentative des neurosciences de cartographier les cerveaux biologiques.