Jared Kaplan ist ein Informatiker, der sich auf künstliche Intelligenz und maschinelles Lernen spezialisiert hat. Bekannt wurde er vor allem als Mitautor des Papers, das GPT-3 vorstellte, eines der größten und einflussreichsten Großsprachmodelle, die von OpenAI entwickelt wurden. Kaplans Arbeit hat zum Verständnis des Skalierungsverhaltens von neuronalen Netzen und zur Entwicklung sichererer KI-Systeme beigetragen.
Kaplans Forschungsinteressen liegen an der Schnittstelle von Modellskalierung, Trainingsdynamik und KI-Ausrichtung. Seine Beiträge haben den modernen Ansatz zum Aufbau generativer KI-Systeme geprägt, insbesondere in den Bereichen Modellarchitektur und Leistungsvorhersage.
Frühe Karriere und Ausbildung
Kaplan absolvierte sein Grundstudium in Physik und Mathematik, wo er eine starke Grundlage im quantitativen Denken entwickelte. Anschließend widmete er sich in seinem Aufbaustudium dem maschinellen Lernen und konzentrierte sich auf probabilistische Modelle und Optimierungstechniken. Während seiner akademischen Jahre wurde er von der Forschungsgemeinschaft an Institutionen wie dem MIT CSAIL und dem Stanford AI Lab beeinflusst, obwohl seine direkten Anstellungen in der Privatwirtschaft lagen.
Seine frühe Arbeit umfasste die Anwendung von Deep Learning auf Aufgaben der natürlichen Sprachverarbeitung, was ihn schließlich 2019 zu OpenAI führte. Zu dieser Zeit befand sich OpenAI im Übergang von der Verstärkungslernforschung hin zur Skalierung von Transformer-basierten Modellen.
GPT-3 und Skalierungsgesetze
Kaplans bedeutendster Beitrag erfolgte 2020, als er das Paper „Language Models are Few-Shot Learners" mitverfasste, das GPT-3 einführte. Dieses Modell mit 175 Milliarden Parametern zeigte, dass große Transformer-Modelle ein breites Aufgabenspektrum mit minimaler Feinabstimmung bewältigen können, indem sie sich auf In-Context-Lernen verlassen. Kaplan war für die Versuchsplanung und die Analyse der Modellleistung über verschiedene Größen hinweg verantwortlich.
Vor GPT-3 war Kaplan Hauptautor einer Studie über die Skalierungsgesetze neuronaler Sprachmodelle. Diese Arbeit etablierte vorhersagbare Potenzgesetz-Beziehungen zwischen Modellgröße, Datensatzumfang und Rechenbudget und leitete damit an, wie OpenAI Ressourcen für nachfolgende Modelle verteilte. Diese Erkenntnisse beeinflussten spätere Entwicklungen in der Modellarchitektur, wie etwa Verbesserungen bei Residualnetzen und Schichtnormalisierung in modernen LLMs.
Wechsel zu Anthropic
2021 verließ Kaplan OpenAI und wechselte zu Anthropic, einem Konkurrenzunternehmen für KI-Sicherheit, das von ehemaligen OpenAI-Forschern mitgegründet wurde. Bei Anthropic verlagerte sich sein Fokus auf Interpretierbarkeits- und Ausrichtungsforschung, insbesondere auf RLHF (Verstärkungslernen aus menschlichem Feedback) und Techniken zur Reduzierung schädlicher Ausgaben. Er trug zur Entwicklung von Claude bei, dem Assistentenmodell von Anthropic, das die Prinzipien der verfassungsgemäßen KI betont.
Seine Arbeit bei Anthropic erforschte, wie Modelle transparenter und kontrollierbarer gemacht werden können, und befasste sich mit Problemen wie Halluzination und Verzerrung. Er untersuchte auch die Auswirkungen von Temperaturskalierung und Top-p-Sampling auf die Ausgabevielfalt, um Kreativität und Sicherheit in Einklang zu bringen.
Forschungsbeiträge
Kaplans Forschungsumfang umfasst Studien zu Optimierungsalgorithmen wie dem Adam-Optimierer und seinen Varianten sowie zu Curriculum-Lernen-Strategien. Er hat außerdem über Gradienten-Clipping und Dropout-Methoden zur Stabilisierung des Trainings publiziert. Seine Mitautorenschaften betonen häufig empirische Ergebnisse gegenüber theoretischen Garantien, ein Stil, der in industriellen Forschungslabors üblich ist.
Über Skalierungsgesetze hinaus hat er zum Verständnis von Multi-Head-Aufmerksamkeit-Mechanismen und ihrer Rolle bei der Erfassung weitreichender Abhängigkeiten beigetragen. Diese Arbeit hat Auswirkungen auf Sequence-to-Sequence-Architekturen und Encoder-Decoder-Modelle, die in Übersetzung und Zusammenfassung eingesetzt werden.
Breitere Wirkung und Brancheneinfluss
Kaplans Erkenntnisse zu Skalierungsgesetzen wurden in der gesamten KI-Branche weithin übernommen und beeinflussten die Hardwareentwicklung bei Unternehmen wie NVIDIA und Intel, obwohl sich diese Firmen hauptsächlich auf Chips und nicht auf Modelle konzentrieren. Seine Erkenntnisse halfen, massive Investitionen in Recheninfrastruktur zu rechtfertigen, etwa in Cloud-Dienste wie AWS und Azure, die für das Training großer Modelle genutzt werden. Seine Arbeit wird auch in Forschungsarbeiten von Gruppen wie Google DeepMind und der University of Toronto zitiert.
Sein Eintreten für sorgfältige Skalierung hat Diskussionen über die Umwelt- und Wirtschaftskosten des Modelltrainings angeregt und zu Interesse an Modell-Pruning und Effizienztechniken geführt. Kaplans doppelter Fokus auf Leistung und Sicherheit positioniert ihn unter den wenigen Forschern, die modernste Fähigkeitsarbeit mit Ausrichtungsbedenken verbinden.
Persönliches Leben und Vermächtnis
Über Kaplans persönliches Leben ist wenig bekannt, da er in seinen beruflichen Veröffentlichungen ein zurückhaltendes Profil pflegt. Seit den frühen 2020er-Jahren ist er weiterhin in der KI-Forschung aktiv und trägt zu laufenden Bemühungen bei, große neuronale Systeme zu verstehen und zu kontrollieren. Sein Vermächtnis ist mit dem empirischen Rahmenwerk verbunden, das der aktuellen Generation großer Sprachmodelle zugrunde liegt und die in modernen maschinellen Lernanwendungen allgegenwärtig geworden sind.