Pretraining ist die erste und in der Regel rechenintensivste Phase des Trainings eines modernen KI-Modells, in der ein Modell anhand eines großen, allgemeinen Korpus mit einem generischen Trainingsziel breite statistische Muster lernt, bevor eine Anpassung an eine spezifische nachgelagerte Aufgabe erfolgt. Bei großen Sprachmodellen bedeutet Pretraining fast immer selbstüberwachtes Lernen: Das Modell erhält große Mengen an Text und wird darauf trainiert, ein Token anhand seines umgebenden Kontexts vorherzusagen, am häufigsten das nächste Token in einer Sequenz – ein Ziel, das keine von Menschen bereitgestellten Labels erfordert, da die „Antwort“ einfach das nächste Wort im vorhandenen Text ist.
Warum Pretraining funktioniert
Die Idee hinter dem Pretraining ist, dass die genaue Vorhersage des nächsten Tokens über ein riesiges und vielfältiges Korpus ein Modell dazu zwingt, implizit Grammatik, Fakten, Denkmuster und sogar rudimentäres Weltwissen zu lernen, da all dies zur Reduzierung des Vorhersagefehlers beiträgt. Ein so trainiertes Modell wird als Basis- oder Fundamentmodell bezeichnet und verhält sich vor jeder weiteren Anpassung weitgehend wie eine hochleistungsfähige Textvervollständigungs-Engine und nicht wie ein Assistent, der Anweisungen befolgt. Die Fundamentmodell-Terminologie, die 2021 von Forschern der Stanford University geprägt wurde, spiegelt die Tatsache wider, dass ein einzelnes vortrainiertes Modell als Ausgangspunkt für viele verschiedene nachgelagerte Anwendungen durch Feinabstimmung oder In-Context-Lernen dienen kann.
Umfang und Kosten
Pretraining wird von Skalierungsgesetzen dominiert, empirischen Beziehungen, die zeigen, dass der Verlust eines Modells vorhersehbar abnimmt, wenn die Menge an Trainingsrechenleistung, Daten und Parametern gemeinsam zunimmt, gemäß dem Rahmenwerk, das 2020 von Forschern bei OpenAI etabliert und 2022 durch DeepMinds Chinchilla-Papier verfeinert wurde, das argumentierte, dass viele frühere Modelle im Verhältnis zu ihrer Größe untertrainiert waren und dass Daten und Parameter gemeinsam skaliert werden sollten. Pretraining für die größten Frontier-Modelle verbraucht in der Größenordnung von Tausenden von GPUs oder TPUs, die über Wochen oder Monate laufen, bei Kosten, die Berichten zufolge in die zig- oder hunderte Millionen Dollar reichen, und erfordert Trainingskorpora, die aus Quellen wie Common Crawl sowie lizenzierten oder proprietären Datensätzen aufgebaut sind.
Vom Pretraining zu einem nutzbaren Assistenten
Ein frisch vortrainiertes Basismodell ist noch nicht als Konversationsassistent geeignet: Es setzt eine Eingabeaufforderung in dem Stil fort, der statistisch wahrscheinlich erscheint, anstatt eine Frage direkt zu beantworten oder eine unsichere Anfrage abzulehnen. Um ein Basismodell in ein Produkt wie ChatGPT oder Claude zu verwandeln, sind zusätzliche Nachbearbeitungsphasen erforderlich, typischerweise überwachtes Feintuning an kuratierten Anweisungs-Antwort-Paaren, gefolgt von einem Präferenzausrichtungsschritt wie RLHF oder direkter Präferenzoptimierung. Pretraining liefert dennoch den Großteil des rohen Wissens und der Fähigkeiten eines Modells; die Nachbearbeitung formt hauptsächlich, wie diese Fähigkeit ausgedrückt und kontrolliert wird.
Trends und offene Fragen
Da Pretraining auf immer größeren Textmengen beruht, haben Forscher Bedenken hinsichtlich einer kommenden „Datenwand“ geäußert, dem Punkt, an dem das Angebot an hochwertigem, von Menschen erzeugtem Text im Verhältnis zu dem, was Skalierungsgesetze verlangen, erschöpft ist, was ein erhöhtes Interesse an synthetischen Daten, die von Modellen selbst erzeugt werden, und an multimodalem Pretraining, das Bilder, Audio und Video neben Text einbezieht, ausgelöst hat. Pretraining-Ziele haben sich auch über die einfache Vorhersage des nächsten Tokens hinaus diversifiziert, wobei einige Ansätze Denoising, Masked-Token-Vorhersage, wie sie von BERT verwendet wird, oder multimodale kontrastive Ziele ähnlich wie bei CLIP integrieren. Trotz dieser Variationen bleibt die Vorhersage des nächsten Tokens über Web-Scale-Text das dominierende Pretraining-Rezept hinter der Mehrheit der eingesetzten großen Sprachmodelle Mitte der 2020er Jahre.