Sebastian Borgeaud ist ein Forschungswissenschaftler bei Google DeepMind, bekannt für seine Arbeiten zu Skalierungsgesetzen, Modellarchitektur und Trainingseffizienz bei großen Sprachmodellen. Er ist Mitautor des Papiers „Training Compute-Optimal Large Language Models“ aus dem Jahr 2022, das das Chinchilla-Modell einführte und die Herangehensweise der KI-Gemeinschaft an Modellgröße und Trainingsdatenverteilung neu prägte. Seine Forschung hat die Entwicklung nachfolgender groß angelegter KI-Systeme beeinflusst, darunter auch die bei OpenAI und Anthropic.
Borgeauds Arbeit liegt an der Schnittstelle von maschinellem Lernen und praktischer Ingenieurskunst, mit einem Schwerpunkt auf dem Verständnis des empirischen Verhaltens von neuronalen Netzen unter verschiedenen Rechenbudgets. Er hat zu mehreren Projekten bei DeepMind beigetragen, die von Sprachmodellierung bis zu multimodalen Systemen reichen, und seine Erkenntnisse werden im Bereich der künstlichen Intelligenz weithin zitiert.
Skalierungsgesetze und das Chinchilla-Papier
Das Chinchilla-Papier, veröffentlicht im März 2022, etablierte ein neues Paradigma für das Training großer Sprachmodelle. Borgeaud und seine Kollegen, darunter Jordan Hoffmann und Llion Jones, zeigten, dass für ein gegebenes Rechenbudget die optimale Modellgröße und die Anzahl der Trainingsdaten ungefähr gleich stark skaliert werden sollten, anstatt die Modellgröße schneller zu erhöhen als die Datenmenge. Dies widersprach früheren Annahmen aus den Kaplan-Skalierungsgesetzen von 2020, die eine schnellere Zunahme der Modellgröße im Vergleich zu den Daten empfahlen.
Konkret fand das Team heraus, dass ein Modell mit 70 Milliarden Parametern, das mit 1,4 Billionen Tokens trainiert wurde, größere Modelle wie Gopher (280 Milliarden Parameter) und GPT-3 (175 Milliarden Parameter) bei einer Reihe von Benchmarks übertraf. Die praktische Empfehlung des Papiers – dass die meisten bestehenden Modelle erheblich untertrainiert waren – führte zu einer Verschiebung der Trainingspraktiken in der gesamten Branche, wobei Unternehmen wie OpenAI und DeepMind bei nachfolgenden Veröffentlichungen ihre Daten-zu-Parameter-Verhältnisse erhöhten.
Beiträge zu Modellarchitektur und Training
Über Skalierungsgesetze hinaus hat Borgeaud an der Verbesserung der Effizienz und Stabilität des Trainings tiefer Netzwerke gearbeitet. Er hat zu Forschungsarbeiten über Varianten der Multi-Head-Attention, positionale Kodierungen und Layer-Normalisierung beigetragen, die heute Standard in transformerbasierten Modellen sind. Seine Arbeit umfasst häufig groß angelegtes verteiltes Training, wo er Methoden zur Reduzierung des Speicherverbrauchs und des Kommunikationsaufwands mitentwickelt hat.
Ein bemerkenswerter Bereich seiner Forschung ist die Verwendung von retrieval-gestützter Generierung, bei der Modelle während der Inferenz auf externes Wissen zugreifen. Borgeaud ist Mitautor des Papiers „Improving Language Models by Retrieving from Trillions of Tokens“ aus dem Jahr 2021, das das RETRO-Modell (Retrieval-Enhanced Transformer) einführte. RETRO zeigte, dass ein Modell mit 7,5 Milliarden Parametern mit Retrieval die Leistung eines Modells mit 70 Milliarden Parametern ohne Retrieval bei bestimmten Aufgaben erreichen konnte, was das Potenzial der Kombination von parametrischem und nicht-parametrischem Gedächtnis hervorhob.
Auswirkungen auf die KI-Gemeinschaft
Borgeauds Erkenntnisse hatten eine messbare Wirkung auf die breitere Machine-Learning-Gemeinschaft. Die Skalierungsgesetze aus dem Chinchilla-Papier sind heute eine Standardreferenz in akademischen Arbeiten und Branchenberichten und haben das Design von Modellen wie OpenAIs GPT-4 und Anthropics Claude beeinflusst. Sein Fokus auf rechenoptimiertes Training hat zudem Diskussionen über die Umwelt- und Wirtschaftskosten von KI angestoßen, da Forscher nach Wegen suchen, mit weniger Ressourcen bessere Leistungen zu erzielen.
Zusätzlich zu seiner Forschung war Borgeaud an der Veröffentlichung von Open-Source-Tools und Datensätzen beteiligt. Er hat zu DeepMinds Open-Source-Bibliotheken beigetragen und auf großen Konferenzen wie NeurIPS und ICML gesprochen, wo er Einblicke in Skalierung und Evaluierung teilte. Seine Arbeiten werden häufig im Kontext von generativer KI und der Entwicklung effizienterer Trainingsmethoden zitiert.
Aktuelle Arbeiten und zukünftige Richtungen
Stand 2024 arbeitet Borgeaud weiterhin bei Google DeepMind und konzentriert sich auf die Entwicklung der nächsten Generation von Modellarchitekturen und Trainingsmethoden. Seine jüngsten Projekte untersuchen Wege, die Rechenkosten der Inferenz zu senken, etwa durch Modell-Pruning und Quantisierung, sowie die Verbesserung der Ausrichtung von Modellen an menschlichen Werten durch Techniken wie RLHF (Reinforcement Learning from Human Feedback).
Er interessiert sich auch für die Schnittstelle von Deep Learning und Neurowissenschaften und lässt sich von biologischen Systemen inspirieren, um effizientere Lernalgorithmen zu entwickeln. Obwohl spezifische Details seiner laufenden Projekte nicht öffentlich sind, deuten seine bisherigen Leistungen darauf hin, dass seine zukünftigen Beiträge die Entwicklung der künstlichen Intelligenz weiter prägen werden.
Ausgewählte Veröffentlichungen
- „Training Compute-Optimal Large Language Models“ (2022, mit Jordan Hoffmann, Llion Jones und anderen)
- „Improving Language Models by Retrieving from Trillions of Tokens“ (2021, mit Jack Rae und anderen)
- „An Empirical Analysis of Compute-Optimal Inference for Problem-Solving with Language Models“ (2023, mit Koautoren)
Diese Papiere gehören zu den am häufigsten zitierten in ihrem Bereich, und ihre Methoden werden sowohl in akademischen als auch in industriellen Umgebungen weithin übernommen.