Jordan Hoffmann ist ein Informatiker und Forscher auf dem Gebiet der künstlichen Intelligenz. Bekannt wurde er vor allem durch seine Arbeiten zu Skalierungsgesetzen für große Sprachmodelle, insbesondere als Hauptautor des Chinchilla-Papiers von 2022, das während seiner Zeit bei DeepMind entstand. Später wechselte Hoffmann zu Anthropic, wo er weiterhin zur Entwicklung fortschrittlicher KI-Systeme beiträgt.
Hoffmanns Forschung konzentriert sich auf das Verständnis der Beziehungen zwischen Modellgröße, Trainingsdaten und Rechenbudget im Deep Learning. Seine Arbeiten haben erheblichen Einfluss darauf gehabt, wie KI-Labore Ressourcen beim Training großer neuronaler Netze zuweisen.
Chinchilla-Papier
Im Jahr 2022 leitete Hoffmann bei DeepMind ein Team, das ein wegweisendes Papier zu den Skalierungsgesetzen großer Sprachmodelle veröffentlichte. Das Papier mit dem Titel "Training Compute-Optimal Large Language Models" führte das Chinchilla-Modell ein, einen Transformer mit 70 Milliarden Parametern, der mit 1,4 Billionen Tokens trainiert wurde. Die zentrale Erkenntnis war, dass bei einem gegebenen Rechenbudget die optimale Modellgröße und die Größe der Trainingsdaten ungefähr gleich stark skaliert werden sollten; frühere Modelle waren hinsichtlich der Datenmenge erheblich untertrainiert. Diese Einsicht führte zu der Empfehlung, dass Modellparameter und Trainings-Tokens in etwa gleichem Verhältnis erhöht werden sollten, ein Prinzip, das seitdem das Design vieler nachfolgender großer Sprachmodelle geleitet hat.
Die Ergebnisse des Chinchilla-Papiers wurden in der gesamten KI-Branche weitgehend übernommen und beeinflussten Trainingsläufe bei Organisationen wie OpenAI, Meta AI und verschiedenen akademischen Einrichtungen. Der Begriff "Chinchilla-Skalierungsgesetze" wurde zu einem Standardreferenzpunkt in Diskussionen über effizientes Modelltraining.
Karriere bei DeepMind
Bei DeepMind war Hoffmann Teil des Forschungsteams, das sich auf Skalierung und Effizienz konzentrierte. Seine Arbeit umfasste die Analyse der Abwägungen zwischen Modellkapazität und Trainingsdaten, wobei sowohl theoretische Analysen als auch empirische Experimente verwendet wurden. Die Chinchilla-Forschung wurde in Zusammenarbeit mit mehreren anderen DeepMind-Forschern durchgeführt, darunter Jack Clark und Shan Carter, wobei die Kernanalyse zur Skalierung von Hoffmann geleitet wurde.
In dieser Zeit arbeitete DeepMind auch an anderen groß angelegten Modellen, und Hoffmanns Beiträge halfen, den Ansatz des Labors zur Ressourcenzuweisung bei Trainingsläufen zu formen.
Wechsel zu Anthropic
Im Jahr 2023 trat Hoffmann Anthropic bei, einem Unternehmen für KI-Sicherheit und -Forschung, das von ehemaligen OpenAI-Forschern gegründet wurde. Bei Anthropic war er an Bemühungen beteiligt, groß angelegte KI-Systeme zu entwickeln, einschließlich der Claude-Modellfamilie. Seine Expertise in Skalierungsgesetzen war wertvoll für die Trainingsinfrastruktur und die Modellentwicklungsstrategie von Anthropic.
Bei Anthropic arbeitete Hoffmann an der Verbesserung der Effizienz und Zuverlässigkeit großer Sprachmodelle, wobei er sich sowohl auf Leistung als auch auf Sicherheitsaspekte konzentrierte. Seine Rolle umfasste eine enge Zusammenarbeit mit anderen Forschern und Ingenieuren, um die Grenzen des Möglichen mit transformerbasierten Architekturen zu erweitern.
Einfluss und Anerkennung
Das Chinchilla-Papier wurde tausende Male zitiert und gilt als grundlegende Referenz auf dem Gebiet des maschinellen Lernens. Hoffmanns Arbeit wurde als wichtiger Beitrag zum praktischen Verständnis der effektiven Ausbildung großer Modelle anerkannt. Seine Erkenntnisse führten zu einer Verschiebung darin, wie KI-Labore Datensatzerfassung und Modellgrößen angehen, wobei viele Organisationen nun größere Datensätze gegenüber größeren Modellarchitekturen priorisieren.
Hoffmanns Forschung ist auch für ihre methodische Strenge bemerkenswert, die theoretische Analyse mit umfangreicher empirischer Validierung kombiniert. Die Schlussfolgerungen des Papiers wurden von anderen Forschern repliziert und erweitert, was seinen Platz im Kanon der Deep-Learning-Forschung festigt.
Persönliches Leben und Ausbildung
Details über Hoffmanns frühes Leben und seine Ausbildung sind nicht weit verbreitet. Er hat einen Hintergrund in Informatik und ist seit den späten 2010er Jahren aktiv in der KI-Forschungsgemeinschaft tätig. Sein Karriereweg von DeepMind zu Anthropic spiegelt die breitere Bewegung führender KI-Forscher zwischen führenden Laboren auf diesem Gebiet wider.
Hoffmann bleibt ein aktiver Beitragender zur KI-Forschungsgemeinschaft, wobei seine Arbeit sowohl akademische Forschung als auch industrielle Praxis beeinflusst. Stand 2024 ist er weiterhin bei Anthropic, wo er an laufenden Bemühungen zur Entwicklung sicherer und leistungsfähiger KI-Systeme beteiligt ist.