Chris Olah ist ein Forscher im Bereich des maschinellen Lernens, der als einer der Begründer des Feldes der mechanistischen Interpretierbarkeit gilt und Mitbegründer von Anthropic ist, wo er die Interpretierbarkeitsforschung leitet.
Frühe Arbeiten und Distill
Olah schloss keinen traditionellen Universitätsabschluss ab, sondern baute seine Forschungskarriere durch unabhängige und industrielle Arbeit auf, darunter eine Zeit bei Google Brain, wo er zu frühen Visualisierungs- und Feature-Interpretationstechniken für Convolutional Neural Networks beitrug, sowie bei OpenAI. 2017 gründete er gemeinsam mit anderen Distill, eine Online-Zeitschrift, die sich auf klare, interaktive visuelle Erklärungen von Forschung im maschinellen Lernen konzentrierte und einflussreich wurde durch ihre redaktionelle Betonung auf echtem Verständnis statt Publikationsvolumen, bevor sie 2021 die regelmäßige Veröffentlichung einstellte.
Interpretierbarkeitsforschung
Olahs Forschung konzentriert sich auf mechanistische Interpretierbarkeit: den Versuch, die internen Berechnungen trainierter Neuronaler Netze in für Menschen verständliche Algorithmen zurückzuentwickeln, anstatt sie als undurchsichtige Black Boxes zu behandeln. Seine frühen schaltkreisbasierten Arbeiten, die teilweise bei OpenAI und später bei Anthropic durchgeführt wurden, zielten darauf ab, spezifische "Features" und "Schaltkreise" in Vision- und Sprachmodellen zu identifizieren, die interpretierbaren Konzepten entsprechen. Bei Anthropic hat sein Team vielzitierte Arbeiten zur Extraktion monosemantischer Features aus Großen Sprachmodellen mithilfe von Sparse Autoencodern veröffentlicht, Teil einer breiteren Forschungsagenda, die darauf abzielt, letztendlich die internen Denkprozesse eines Modells prüfen zu können, anstatt sich nur auf seine Ausgaben zu verlassen.
Anthropic
Olah gründete Anthropic 2021 gemeinsam mit Dario Amodei, Daniela Amodei, Tom Brown und Jared Kaplan, mit denen er teilweise bei OpenAI zusammengearbeitet hatte. Interpretierbarkeit wurde bei Anthropic als zentraler Pfeiler seiner Sicherheitsstrategie positioniert, neben Constitutional AI und seiner Responsible Scaling Policy (siehe Anthropic-Prinzipien), basierend auf der Prämisse, dass das Verständnis der internen Strukturen eines Modells letztendlich gefährliches Verhalten wie täuschende oder Belohnungs-Hacking-Tendenzen erkennen könnte, das Black-Box-Evaluationen übersehen würden.
Einfluss
Olah wird weithin zugeschrieben, Interpretierbarkeit von einer Nischenakademie zu einem gut finanzierten, zentralen Forschungsprogramm in einem führenden Labor gemacht zu haben, was ähnliche Interpretierbarkeitsbemühungen bei Google DeepMind und anderswo beeinflusste und prägte, wie das KI-Sicherheits-Feld über den Unterschied zwischen verhaltensbezogener Ausrichtung und echtem Verständnis der internen Denkprozesse eines Modells denkt. Sein autodidaktischer, nicht-traditioneller Weg in das Feld wird auch häufig als Gegenbeispiel zur Annahme angeführt, dass Spitzenforschung im Bereich KI einen konventionellen akademischen Werdegang erfordert.