Jan Leike ist ein Forscher im Bereich KI-Ausrichtung, der das Superalignment-Team von OpenAI mitgeleitet hat und später zu Anthropic wechselte, nachdem er 2024 unter großer öffentlicher Aufmerksamkeit von OpenAI zurückgetreten war.
Karriere bei DeepMind und OpenAI
Leike hat einen Doktortitel in Theorie des bestärkenden Lernens von der Australian National University. Bevor er zu OpenAI kam, arbeitete er als Forschungswissenschaftler bei DeepMind an KI-Sicherheit und Ausrichtungsproblemen. Bei OpenAI arbeitete er umfassend an Techniken, um Modelle hilfreicher und ehrlicher zu trainieren, trug zum RLHF-Forschungsprogramm bei, das ChatGPT prägte, und war später Mitautor von OpenAIs Arbeiten zu skalierbarer Aufsicht und Schwach-zu-Stark-Verallgemeinerung.
Superalignment und Rücktritt
Im Juli 2023 kündigte OpenAI das Superalignment-Team an, das von Leike und dem OpenAI-Mitbegründer Ilya Sutskever mitgeleitet wurde, mit dem erklärten Ziel, das technische Problem der Ausrichtung eines hypothetischen zukünftigen superintelligenten KI-Systems innerhalb von vier Jahren zu lösen, unterstützt durch die Zusage erheblicher Rechenressourcen. Die Arbeit des Teams berührte Interpretierbarkeit, skalierbare Aufsicht und automatisierte Ausrichtungsforschung.
Im Mai 2024 trat Leike von OpenAI zurück und erklärte öffentlich, dass „Sicherheitskultur und -prozesse hinter glänzenden Produkten zurückstehen“ würden und dass sein Team Schwierigkeiten gehabt habe, die versprochenen Rechenressourcen zu erhalten. Sein Rücktritt erfolgte in derselben Woche wie der Abgang von Sutskever und lenkte erhebliche Aufmerksamkeit auf interne Spannungen bei OpenAI über das Gleichgewicht zwischen schneller Produktbereitstellung und langfristiger Sicherheitsforschung – Spannungen, die auch während der OpenAI-Vorstandskrise im November 2023 sichtbar geworden waren.
Wechsel zu Anthropic
Kurz nach seinem Ausscheiden bei OpenAI trat Leike Anthropic bei, um die Ausrichtungsforschung fortzusetzen, und schloss sich einer wachsenden Gruppe von Forschern an, darunter frühere Ankünfte wie Jared Kaplan und Chris Olah, die wegen Meinungsverschiedenheiten über die Priorisierung von Sicherheit von OpenAI zu Anthropic gewechselt waren. Bei Anthropic hat er weiterhin an Themen wie skalierbarer Aufsicht und Modellevaluierung gearbeitet.
Einfluss
Leikes öffentlicher Rücktrittsbrief wurde zu einem der am weitesten verbreiteten Dokumente in der Diskussion der KI-Sicherheitsgemeinschaft darüber, ob die internen Anreize von Spitzenlaboren ihre erklärten Sicherheitsverpflichtungen zuverlässig unterstützen – eine Debatte, die eng mit breiteren Fragen in KI-Governance und langfristigem KI-Risiko verbunden ist. Sein Abgang, der ähnlichen Austritten anderer sicherheitsorientierter Forscher folgte, wurde häufig als Beleg dafür angeführt, dass interne Ausrichtungsteams in schnelllebigen kommerziellen Laboren strukturellem Druck ausgesetzt sind, mit Produktfristen um Rechenressourcen und Personal zu konkurrieren.