Jascha Sohl-Dickstein ist ein Informatiker und Forscher auf dem Gebiet des maschinellen Lernens und der künstlichen Intelligenz. Bekannt wurde er vor allem als Hauptautor des Papers von 2015 mit dem Titel „Deep Unsupervised Learning using Nonequilibrium Thermodynamics“, das diffusionsbasierte probabilistische Modelle einführte – eine Klasse von generativen KI-Modellen, die später zentral für Bild- und Videoerzeugungssysteme wurden. Seine Arbeit verbindet statistische Physik, Optimierung und tiefes Lernen.
Sohl-Dickstein promovierte an der University of California, Berkeley, wo er an maschinellem Lernen und computationaler Neurowissenschaft arbeitete. Anschließend hatte er Positionen an der Stanford University und dem RIKEN Brain Science Institute inne, bevor er 2015 zu Google Brain wechselte. Bei Google Brain trug er zur Forschung an Optimierung, Generalisierung und generativer Modellierung bei. 2021 wechselte er als Forschungswissenschaftler zu Google DeepMind, und 2023 trat er Anthropic bei, wo er sich auf Interpretierbarkeit und Sicherheit großskaliger KI-Systeme konzentrierte.
Diffusionsmodelle und frühe generative Arbeit
Sohl-Dicksteins Paper von 2015, das er gemeinsam mit Eric Weiss, Niru Maheswaranathan und Surya Ganguli verfasste, schlug einen Rahmen für generative Modellierung vor, der darauf basiert, Daten schrittweise mit Rauschen zu versehen und dann zu lernen, diesen Prozess umzukehren. Der Ansatz stützte sich auf Nichtigleichgewichtsthermodynamik und wurde zunächst von anderen generativen Methoden wie generativen adversariellen Netzwerken und variationalen Autoencodern überschattet. Später wurde er jedoch zur Grundlage für prominente Systeme wie DALL-E und Stable Diffusion, die Diffusionsmodelle verwenden, um realistische Bilder aus Textprompts zu erzeugen. Das Paper wird heute weithin als zentraler Vorläufer moderner generativer KI-Systeme zitiert.
Forschungsbeiträge
Über Diffusionsmodelle hinaus hat Sohl-Dickstein zu einer Reihe von Themen im maschinellen Lernen publiziert. Seine Arbeit umfasst Studien zur Geometrie von Verlustlandschaften, zur Dynamik des Trainings von neuronalen Netzen und zur Rolle von Rauschen in der Optimierung. Er hat auch die Verbindung zwischen tiefem Lernen und Neurowissenschaft untersucht, insbesondere wie biologische Schaltkreise Lernregeln implementieren könnten, die denen in künstlichen Netzen ähneln. Seine Forschung betont oft theoretisches Verständnis neben empirischen Ergebnissen.
Bei OpenAI – wo er von 2017 bis 2018 als Forschungswissenschaftler tätig war – arbeitete er an großskaligen generativen Modellen und trug zu frühen Bemühungen in der Forschung zu großen Sprachmodellen bei. Seine Zeit dort überschnitt sich mit der Entwicklung der Transformer-Architektur, obwohl sein Hauptfokus auf generativer Modellierung und Optimierung blieb.
Spätere Karriere und Interpretierbarkeit
Nach seiner Rückkehr zu Google Brain und dem Wechsel zu Google DeepMind erforschte Sohl-Dickstein weiterhin die theoretischen Grundlagen des tiefen Lernens. Er war Mitautor von Papers über die implizite Verzerrung des Gradientenabstiegs, die Wirkung der Batchgröße auf die Generalisierung und das Skalierungsverhalten neuronaler Netze. Seine Arbeit über die Beziehung zwischen Modellgröße und Leistung hat praktische Richtlinien für das Training großer Modelle beeinflusst.
2023 trat Sohl-Dickstein Anthropic bei, wo er an mechanistischer Interpretierbarkeit arbeitet – dem Bestreben, die internen Berechnungen neuronaler Netze zu verstehen. Dies umfasst die Analyse, wie Transformer Konzepte repräsentieren und wie Schaltkreise in ihnen identifiziert werden können. Sein Hintergrund in Physik und Optimierung war wertvoll bei der Entwicklung von Methoden, um das Verhalten komplexer Modelle zu rekonstruieren.
Wirkung und Anerkennung
Das Diffusionspaper von 2015 gilt als eines der einflussreichsten Werke der modernen KI. Es legte das Fundament für eine Familie von Modellen, die heute weit verbreitete Werkzeuge für Bildsynthese, Audioerzeugung und wissenschaftliche Anwendungen antreiben. Sohl-Dicksteins breitere Beiträge zu Optimierung und Lerntheorie wurden ebenfalls umfangreich zitiert. Er hat auf großen Konferenzen und Workshops gesprochen, und seine Arbeit wurde sowohl in akademischen Kreisen als auch in populären Medien vorgestellt.
Sohl-Dicksteins Karriere veranschaulicht den interdisziplinären Charakter der KI-Forschung, die Erkenntnisse aus Physik, Statistik und Informatik vereint. Sein Werdegang – von der Wissenschaft zu industriellen Forschungslabors – spiegelt das Wachstum des Feldes selbst wider, da grundlegende Ideen aus den 2010er-Jahren zur Grundlage kommerzieller Produkte in den 2020er-Jahren wurden.
Ausgewählte Publikationen
- Sohl-Dickstein, J., Weiss, E., Maheswaranathan, N., & Ganguli, S. (2015). Deep Unsupervised Learning using Nonequilibrium Thermodynamics. International Conference on Machine Learning (ICML).
- Sohl-Dickstein, J., Poole, B., & Ganguli, S. (2014). Fast large-scale optimization by unifying stochastic gradient and quasi-Newton methods. ICML.
- Sohl-Dickstein, J., et al. (2020). On the relationship between batch size and generalization. (Preprint).
Diese Werke haben maßgeblich beeinflusst, wie Forscher über generative Modellierung und Optimierung im tiefen Lernen denken.