Chris Olah es un investigador de aprendizaje automático considerado uno de los fundadores del campo de la interpretabilidad mecanicista, y cofundador de Anthropic, donde lidera la investigación en interpretabilidad.
Primeros trabajos y Distill
Olah no completó un título universitario tradicional, sino que construyó una carrera investigadora a través de trabajo independiente y en la industria, incluido un tiempo en Google Brain, donde contribuyó a las primeras técnicas de visualización e interpretación de características para redes neuronales convolucionales, y en OpenAI. En 2017, cofundó Distill, una revista en línea centrada en explicaciones visuales claras e interactivas de la investigación en aprendizaje automático, que se volvió influyente por su énfasis editorial en la comprensión genuina por encima del volumen de publicaciones antes de cesar su publicación regular en 2021.
Investigación en interpretabilidad
La investigación de Olah se centra en la interpretabilidad mecanicista: el intento de ingeniería inversa de los cálculos internos de redes neuronales entrenadas para convertirlos en algoritmos comprensibles para los humanos, en lugar de tratarlos como cajas negras opacas. Su trabajo temprano basado en circuitos, realizado en parte en OpenAI y continuado en Anthropic, buscaba identificar "características" y "circuitos" específicos dentro de modelos de visión y lenguaje que correspondieran a conceptos interpretables. En Anthropic, su equipo ha publicado trabajos ampliamente citados sobre la extracción de características monosemánticas de grandes modelos de lenguaje mediante autoencoders dispersos, parte de una agenda de investigación más amplia destinada a poder auditar el razonamiento interno de un modelo en lugar de depender solo de sus resultados.
Anthropic
Olah cofundó Anthropic en 2021 junto a Dario Amodei, Daniela Amodei, Tom Brown y Jared Kaplan, varios de los cuales habían trabajado con él en OpenAI. La interpretabilidad se ha posicionado dentro de Anthropic como un pilar central de su estrategia de seguridad, junto con Constitutional AI y su Política de Escalado Responsable (ver Responsible scaling policies), bajo la premisa de que comprender los internals de un modelo podría eventualmente detectar comportamientos peligrosos, como tendencias engañosas o de manipulación de recompensas, que la evaluación de caja negra pasaría por alto.
Influencia
A Olah se le atribuye ampliamente haber convertido la interpretabilidad de una búsqueda académica de nicho a un programa de investigación central y bien financiado en un laboratorio de frontera, influyendo en esfuerzos similares de interpretabilidad en Google DeepMind y en otros lugares, y moldeando cómo el campo de la seguridad de la IA piensa sobre la diferencia entre alineación conductual y comprensión genuina del razonamiento interno de un modelo. Su camino autodidacta y no tradicional hacia el campo también se cita con frecuencia como un contraejemplo a la suposición de que la investigación de IA de frontera requiere un pedigrí académico convencional.