Skalierungsgesetze bezeichnen im Kontext des maschinellen Lernens empirische Beziehungen, die beschreiben, wie sich die Leistung eines Modells in vorhersehbarer, näherungsweise potenzgesetzlicher Weise verbessert, wenn drei Größen zunehmen: die Anzahl der Parameter im Modell, die Menge der Trainingsdaten, die es sieht, und die gesamte für das Training aufgewendete Rechenleistung. Der Begriff bezieht sich nicht auf ein einzelnes Gesetz, sondern auf eine Reihe von Forschungsarbeiten, die belegen, dass der Verlust auf zurückgehaltenen Daten tendenziell gleichmäßig und vorhersehbar abnimmt, wenn diese Größen gemeinsam skaliert werden, was es Forschern ermöglicht, die Leistung eines viel größeren Modells vor dem Training vorherzusagen.
Kaplan et al., 2020
Das grundlegende Papier „Scaling Laws for Neural Language Models" wurde von Jared Kaplan und Mitarbeitern bei OpenAI im Januar 2020 veröffentlicht. Es zeigte, dass der Verlust von Sprachmodellen Potenzgesetz-Beziehungen mit Modellgröße, Datensatzgröße und Rechenleistung folgte, weitgehend unabhängig von spezifischen Architekturdetails wie Netzwerktiefe oder -breite, und dass größere Modelle, die mit der gleichen Datenmenge trainiert wurden, durchweg probeneffizienter waren. Eine damals weit verbreitete Schlussfolgerung war, dass es bei einem festen Rechenbudget besser sei, sehr große Modelle mit vergleichsweise bescheidenen Datenmengen zu trainieren, anstatt kleinere Modelle bis zur Konvergenz zu trainieren - eine Erkenntnis, die das Design von Modellen wie GPT-3 prägte.
Chinchilla, 2022
Ein Papier aus dem Jahr 2022 von Hoffmann und Kollegen bei Google DeepMind, das ein Modell namens Chinchilla einführte, revidierte dieses Bild. Durch das Training einer großen Anzahl von Modellen unterschiedlicher Größe mit unterschiedlichen Datenmengen und deren Vergleich bei gleichen Rechenbudgets fanden die Autoren heraus, dass die ursprünglichen Skalierungsgesetze unterschätzten, wie viele Trainingsdaten ein Modell relativ zu seiner Parameteranzahl benötigt; viele zeitgenössische große Modelle waren in diesem Rahmen gemessen an ihrer Größe untertrainiert. Das rechenoptimale Rezept aus dem Chinchilla-Papier, das empfahl, Modellgröße und Trainingsdaten ungefähr proportional zu skalieren, wurde zu einem einflussreichen Referenzpunkt dafür, wie Labore Rechenleistung in nachfolgenden Pretraining-Läufen verteilten.
Konsequenzen und Debatte
Skalierungsgesetze halfen, die massiven Kapitalinvestitionen hinter dem Wachstum von Foundation-Modellen zu rechtfertigen, da eine vorhersehbare Beziehung zwischen Rechenleistung und Leistung Investoren und Laboren eine Grundlage bietet, um Renditen für immer größere Training-Läufe vorherzusagen. Sie warfen auch die Frage auf, ob die Skalierung angesichts endlicher hochwertiger Trainingsdaten und der physischen und finanziellen Grenzen, die informell durch Erweiterungen von Moores Gesetz auf das Wachstum der KI-Rechenleistung beschrieben werden, unbegrenzt fortgesetzt werden könnte. Bedenken hinsichtlich eines Mangels an leicht verfügbaren hochwertigen Textdaten, manchmal als Datenmauer bezeichnet, trieben die Forschung in Richtung synthetischer Daten und neuer Skalierungsachsen über das Pretraining hinaus, einschließlich Testzeit-Rechenleistung, der Praxis, beim Inferenz mehr Rechenleistung aufzuwenden, um die Ausgabequalität für ein bestimmtes Problem zu verbessern, anstatt nur das Modell selbst zu skalieren. Die Beziehung zwischen roher Skalierung und qualitativ neuen Fähigkeiten bleibt umstritten und ist eng mit der Forschung zu emergenten Fähigkeiten verbunden, die fragt, ob einige Fähigkeiten abrupt bei bestimmten Größenordnungen auftreten, anstatt sich gleichmäßig mit dem Verlust zu verbessern.