Chris Olah est un chercheur en apprentissage automatique considéré comme l'un des fondateurs du domaine de l'interprétabilité mécaniste, et cofondateur d'Anthropic, où il dirige la recherche sur l'interprétabilité.
Premiers travaux et Distill
Olah n'a pas obtenu de diplôme universitaire traditionnel, construisant plutôt une carrière de recherche par le biais d'un travail indépendant et en industrie, notamment chez Google Brain, où il a contribué aux premières techniques de visualisation et d'interprétation des caractéristiques pour les réseaux de neurones convolutifs, ainsi qu'à OpenAI. En 2017, il a cofondé Distill, un journal en ligne axé sur des explications visuelles claires et interactives de la recherche en apprentissage automatique, qui est devenu influent pour son accent éditorial sur la compréhension réelle plutôt que sur le volume de publications, avant de cesser sa publication régulière en 2021.
Recherche sur l'interprétabilité
La recherche d'Olah se concentre sur l'interprétabilité mécaniste : la tentative de rétro-ingénierie des calculs internes des réseaux de neurones entraînés en algorithmes compréhensibles par l'humain, plutôt que de les traiter comme des boîtes noires opaques. Ses premiers travaux basés sur les circuits, menés en partie à OpenAI et poursuivis à Anthropic, visaient à identifier des « caractéristiques » et des « circuits » spécifiques dans les modèles de vision et de langage correspondant à des concepts interprétables. Chez Anthropic, son équipe a publié des travaux largement cités sur l'extraction de caractéristiques monosémantiques des grands modèles de langage à l'aide d'autoencodeurs parcimonieux, dans le cadre d'un programme de recherche plus large visant à pouvoir éventuellement auditer le raisonnement interne d'un modèle plutôt que de se fier uniquement à ses sorties.
Anthropic
Olah a cofondé Anthropic en 2021 aux côtés de Dario Amodei, Daniela Amodei, Tom Brown et Jared Kaplan, avec plusieurs desquels il avait travaillé à OpenAI. L'interprétabilité a été positionnée chez Anthropic comme un pilier central de sa stratégie de sécurité, aux côtés de Constitutional AI et de sa politique de mise à l'échelle responsable (voir Responsible scaling policies), sur le principe que comprendre les internes d'un modèle pourrait éventuellement détecter des comportements dangereux, tels que les tendances trompeuses ou de piratage de récompense, que l'évaluation en boîte noire manquerait.
Influence
Olah est largement crédité d'avoir transformé l'interprétabilité d'une poursuite académique de niche en un programme de recherche central et bien financé dans un laboratoire de pointe, influençant des efforts d'interprétabilité similaires chez Google DeepMind et ailleurs, et façonnant la manière dont le domaine de la sécurité de l'IA pense à la différence entre l'alignement comportemental et la compréhension réelle du raisonnement interne d'un modèle. Son parcours autodidacte et non traditionnel dans le domaine est également souvent cité comme un contre-exemple à l'hypothèse selon laquelle la recherche de pointe en IA nécessite un pedigree académique conventionnel.