Jared Kaplan ist ein theoretischer Physiker und Forscher im Bereich maschinelles Lernen, der vor allem für die Leitung der Forschung bekannt ist, die empirische Scaling laws für Sprachmodelle etablierte, sowie als Mitbegründer und leitender Wissenschaftler von Anthropic.
Hintergrund und Skalierungsgesetze
Kaplan hatte eine Professur für theoretische Physik an der Johns Hopkins University inne, bevor er in die KI-Forschung wechselte. Er hat erklärt, dass dieser Hintergrund seinen Ansatz prägte, Modellverhalten als ein empirisches, quantitatives System zu behandeln, das gemessen werden muss, anstatt es nur intuitiv zu konstruieren. Im Jahr 2020 leitete er, damals bei OpenAI tätig, die Arbeit an „Scaling Laws for Neural Language Models", einem Paper, das zeigte, dass der Verlust bei Sprachmodellierungsaufgaben glatten Potenzgesetz-Beziehungen mit Modellgröße, Datensatzgröße und Trainingsrechenaufwand folgt. Das Papier gab den Laboren einen prädiktiven Rahmen, um zu entscheiden, wie ein festes Rechenbudget aufzuteilen ist, und beeinflusste direkt das Training von GPT-3. Ein vielzitiertes Follow-up von DeepMind aus dem Jahr 2022, das „Chinchilla"-Papier, revidierte Kaplans ursprüngliche Schlussfolgerungen zum optimalen Verhältnis von Parametern zu Trainings-Tokens, aber der zugrunde liegende Potenzgesetz-Rahmen, den er mit etabliert hatte, blieb grundlegend für die Planung großer Trainingsläufe in den führenden Laboren.
Anthropic
Im Jahr 2021 gründete Kaplan gemeinsam mit Dario Amodei, Daniela Amodei, Tom Brown, Chris Olah und anderen, die zuvor bei OpenAI zusammengearbeitet hatten, Anthropic. Als leitender Wissenschaftler von Anthropic hat er Forschungsrichtungen betreut, die von Pretraining über AI alignment bis hin zur empirischen Untersuchung von Modellfähigkeiten bei zunehmender Skalierung reichen, und damit das auf Skalierung ausgerichtete Forschungsprogramm fortgesetzt, das er bei OpenAI begonnen hatte. Der öffentliche Sicherheitsrahmen von Anthropic, einschließlich der Responsible Scaling Policy (siehe Responsible scaling policies), stützt sich unter anderem auf die Prämisse, dass das Fähigkeitswachstum durch Skalierungstrends vorhersehbar genug ist, um geplant und begrenzt zu werden - eine Idee, die direkt auf Kaplans frühere Forschung zurückgeht.
Einfluss
Kaplans Arbeit zu Skalierungsgesetzen wird häufig zusammen mit dem GPT-3-Papier als eine der beiden Entwicklungen genannt, die das gesamte Feld davon überzeugten, dass die kontinuierliche Skalierung von Transformer (architecture)-Modellen - anstatt nach grundlegend neuen Architekturen zu suchen - der zuverlässigste Weg zu weiteren Fähigkeitssteigerungen sei. Diese Schlussfolgerung prägte die Strategie der führenden Labore bis Mitte der 2020er Jahre.
Sein Hintergrund in theoretischer Physik wird in Profilen über die Führung von Anthropic häufig als unterscheidendes Merkmal unter den Gründern von KI-Laboren hervorgehoben. Er hat weiterhin explizite Analogien zwischen den empirischen Methoden zur Untersuchung physikalischer Systeme und der Art und Weise gezogen, wie führende Labore heute das Verhalten großer trainierter Modelle vor und nach dem Einsatz untersuchen.