Catherine Olsson est chercheuse chez Anthropic, une entreprise de recherche et de sécurité en intelligence artificielle, où elle se concentre sur l'interprétabilité - le domaine qui s'intéresse à la compréhension du fonctionnement interne des modèles de apprentissage automatique, en particulier les grands modèles de langage. Son travail vise à rendre les réseaux de neurones plus transparents et explicables, une préoccupation clé alors que les systèmes d'IA deviennent plus puissants et plus largement déployés.
Les recherches d'Olsson ont contribué à l'interprétabilité mécaniste, une approche qui cherche à rétro-ingénier les calculs effectués par les modèles transformers au niveau des neurones individuels, des têtes d'attention et des circuits. Ce travail est essentiel pour améliorer la fiabilité, la sécurité et l'alignement des modèles avec les intentions humaines.
Carrière et contributions
Chez Anthropic, Olsson a participé à plusieurs projets d'interprétabilité influents. Elle a exploré comment des comportements apparemment complexes dans les modèles de langage émergent de composants plus simples et plus primitifs, et comment ces comportements peuvent être retracés jusqu'à des activations internes spécifiques. Son travail implique souvent une analyse détaillée des internes des modèles, en utilisant des techniques telles que le patch d'activation et l'analyse de circuits pour identifier les mécanismes causaux.
Un domaine notable de sa recherche concerne l'apprentissage en contexte, la capacité des transformers à s'adapter à de nouvelles tâches en fonction de l'invite sans mettre à jour leurs poids. Olsson et ses collègues ont étudié le rôle des têtes d'attention dans ce processus, proposant des circuits qui remplissent des fonctions de « têtes d'induction », qui copient et complètent des motifs. Cette ligne d'enquête aide à expliquer comment les modèles généralisent au-delà de leurs données d'entraînement.
Parcours et formation
Olsson a obtenu son doctorat en neurosciences à l'Université Stanford, où elle a étudié les neurosciences computationnelles et l'apprentissage automatique. Ses recherches doctorales se sont concentrées sur la manière dont les populations neuronales encodent et traitent l'information, fournissant une base pour ses travaux ultérieurs sur les réseaux de neurones artificiels. Elle détient également un B.A. en sciences cognitives de l'Université de Toronto.
Avant de rejoindre Anthropic, Olsson a travaillé chez OpenAI, où elle a contribué à la recherche sur la sécurité et l'interprétabilité. Son expérience au sein d'organisations de premier plan en IA lui a donné une perspective large sur les défis et les opportunités dans le domaine.
Orientation de la recherche et philosophie
Olsson plaide pour une approche scientifique de l'interprétabilité, en soulignant la nécessité d'hypothèses rigoureuses et falsifiables sur le comportement des modèles. Elle a soutenu que comprendre les internes des modèles n'est pas seulement un exercice académique, mais une nécessité pratique pour garantir que les systèmes d'IA se comportent de manière prévisible et sûre. Cette perspective s'aligne avec la mission plus large d'Anthropic de développer l'IA de manière responsable.
Son travail a également abordé les implications sociétales de l'interprétabilité. En rendant les modèles plus compréhensibles, les chercheurs peuvent identifier des comportements biaisés ou nuisibles, améliorer le débogage et renforcer la confiance des utilisateurs. Olsson a parlé de l'importance de l'interprétabilité pour la gouvernance de l'intelligence artificielle et le développement de systèmes sûrs et bénéfiques.
Publications sélectionnées et engagement public
Olsson a écrit ou co-écrit de nombreux articles et billets de blog sur l'interprétabilité, communiquant souvent des résultats complexes à un large public. Son article de 2022 sur les têtes d'induction, co-écrit avec des collègues d'Anthropic, a reçu une attention considérable dans la communauté de l'apprentissage automatique pour son articulation claire d'un mécanisme concret sous-jacent à l'apprentissage en contexte.
Elle présente régulièrement lors de conférences, y compris celles organisées par Berkeley AI Research et d'autres institutions académiques, et contribue aux publications de recherche publiques d'Anthropic. Sa capacité à expliquer des concepts techniques en termes accessibles a fait d'elle une voix respectée dans les discussions sur la sécurité et la transparence de l'IA.
Impact et orientations futures
Les contributions d'Olsson font partie d'un mouvement croissant vers la rendue de l'IA interprétable. Alors que les modèles atteignent des échelles de milliards ou de trillions de paramètres, le défi de les comprendre devient plus aigu. Ses recherches fournissent des outils et des cadres qui pourraient aider les futurs développeurs à construire des modèles non seulement plus capables, mais aussi plus supervisés et responsables.
Bien que l'interprétabilité reste un problème ouvert, des chercheurs comme Olsson posent les bases qui pourraient conduire à des percées dans la manière dont nous concevons, auditons et interagissons avec l'IA. Son travail illustre l'intégration de la pensée inspirée des neurosciences avec l'apprentissage automatique de pointe, offrant des perspectives qui pourraient façonner la trajectoire du domaine.