Chris Olah é um pesquisador de machine learning considerado um dos fundadores do campo da interpretabilidade mecanística, e cofundador da Anthropic, onde lidera a pesquisa em interpretabilidade.
Trabalho inicial e Distill
Olah não concluiu um diploma universitário tradicional, construindo em vez disso uma carreira de pesquisa por meio de trabalho independente e na indústria, incluindo passagens pelo Google Brain, onde contribuiu com técnicas iniciais de visualização e interpretação de características para redes neurais convolucionais, e pela OpenAI. Em 2017, ele cofundou a Distill, um periódico online focado em explicações visuais claras e interativas de pesquisas em machine learning, que se tornou influente por sua ênfase editorial em compreensão genuína em vez de volume de publicações, antes de cessar a publicação regular em 2021.
Pesquisa em interpretabilidade
A pesquisa de Olah centra-se na interpretabilidade mecanística: a tentativa de engenharia reversa das computações internas de redes neurais treinadas em algoritmos compreensíveis por humanos, em vez de tratá-las como caixas-pretas opacas. Seu trabalho inicial baseado em circuitos, conduzido em parte na OpenAI e continuado na Anthropic, visava identificar "características" e "circuitos" específicos dentro de modelos de visão e linguagem correspondentes a conceitos interpretáveis. Na Anthropic, sua equipe publicou trabalhos amplamente citados sobre a extração de características monossemânticas de grandes modelos de linguagem usando autoencoders esparsos, parte de uma agenda de pesquisa mais ampla que visa, em última instância, permitir auditar o raciocínio interno de um modelo em vez de depender apenas de suas saídas.
Anthropic
Olah cofundou a Anthropic em 2021 ao lado de Dario Amodei, Daniela Amodei, Tom Brown e Jared Kaplan, vários dos quais ele conhecera na OpenAI. A interpretabilidade foi posicionada dentro da Anthropic como um pilar central de sua estratégia de segurança, juntamente com a IA constitucional e sua Política de Escalonamento Responsável (ver princípios da Anthropic), sob a premissa de que compreender o funcionamento interno de um modelo poderia, eventualmente, detectar comportamentos perigosos, como tendências enganosas ou de manipulação de recompensa, que a avaliação por caixa-preta deixaria passar.
Influência
Olah é amplamente creditado por transformar a interpretabilidade de uma busca acadêmica de nicho em um programa de pesquisa central e bem financiado em um laboratório de fronteira, influenciando esforços semelhantes de interpretabilidade na Google DeepMind e em outros lugares, e moldando a forma como o campo da segurança de IA pensa sobre a diferença entre alinhamento comportamental e compreensão genuína do raciocínio interno de um modelo. Seu caminho autodidata e não tradicional para o campo também é frequentemente citado como um contraponto à suposição de que a pesquisa de IA de fronteira exige um histórico acadêmico convencional.