Nächste-Token-Vorhersage
Die Nächste-Token-Vorhersage ist ein fundamentales Trainingsziel, das in autoregressiven Sprachmodellen verwendet wird, insbesondere in großen Sprachmodellen (LLMs). Bei diesem Paradigma wird ein Modell darauf trainiert, die Wahrscheinlichkeit des nächsten Tokens in einer Sequenz zu schätzen, gegeben alle vorherigen Tokens. Dabei lernt das Modell effektiv die bedingte Wahrscheinlichkeitsverteilung P(token_n | token_1, ..., token_{n-1}). Dieses Ziel ermöglicht es dem Modell, Text zu generieren, indem es iterativ das wahrscheinlichste nächste Token auswählt oder daraus sampelt und es an die Eingabesequenz anhängt.
Der Ansatz ist zentral für moderne große Sprachmodelle, die auf der Transformer (architecture)-Architektur aufbauen, welche frühere rekurrente neuronale Netze und rein statistische Modelle wie Wort-n-Gramm-Modelle abgelöst haben. Durch das Training auf riesigen Datensätzen, die oft aus dem öffentlichen Internet gesammelt werden, lernen diese Modelle, kohärenten und kontextuell relevanten Text für eine breite Palette von Aufgaben zu erzeugen, darunter natürliche Sprachgenerierung, maschinelle Übersetzung und Frage-Antwort-Systeme.
Historische Entwicklung
Die konzeptionellen Wurzeln der Nächste-Token-Vorhersage reichen bis in die 1950er Jahre zurück, als Noam Chomsky formale Ansätze zur Beschreibung von Sprache mit formaler Grammatik entwickelte. Diese frühen Modelle waren jedoch regelbasiert und beinhalteten keine probabilistische Vorhersage. In den 1970er Jahren führten Frederick Jelinek und Kollegen bei IBM Research statistische Ansätze zur Sprachmodellierung im Rahmen der Spracherkennung ein. Ihre Gruppe verwendete probabilistische n-Gramm-Modelle von Wortsequenzen und führte die Perplexität als informationstheoretisches Maß für die Modellunsicherheit ein.
1980 wurde das erste bedeutende statistische Sprachmodell vorgeschlagen, und in diesem Jahrzehnt führte IBM „Shannon-Experimente“ durch, bei denen menschliche Probanden Text vorhersagten oder korrigierten, um potenzielle Verbesserungen für die Sprachmodellierung zu identifizieren. Diese statistischen Methoden dominierten, bis in den 2000er Jahren neuronale Ansätze aufkamen.
Statistische Grundlagen
Reine statistische Modelle, insbesondere wortbasierte n-Gramm-Modelle, schätzen die Wahrscheinlichkeit eines Wortes basierend auf den vorherigen n-1 Wörtern. Diese Modelle verlassen sich auf das Zählen von Vorkommen in Trainingskorpora und leiden unter dem Fluch der Dimensionalität, da die Anzahl möglicher Sequenzen exponentiell mit der Vokabulargröße wächst, was zu Datenknappheit führt.
Exponentielle Sprachmodelle, wie Maximum-Entropie-Modelle, adressieren einige dieser Einschränkungen, indem sie Beziehungen zwischen Wörtern und n-Gramm-Historien mithilfe von Merkmalsfunktionen kodieren. Die Wahrscheinlichkeit eines Wortes gegeben seine Historie wird berechnet als P(w_m | w_1, ..., w_{m-1}) = 1/Z(w_1, ..., w_{m-1}) * exp(a^T f(w_1, ..., w_m)), wobei Z eine Partitionsfunktion, a ein Parametervektor und f eine Merkmalsfunktion ist. Diese Modelle erfordern oft Regularisierung oder eine Prior-Verteilung über die Parameter. Das log-bilineare Modell ist ein weiteres Beispiel für ein exponentielles Sprachmodell.
Skip-Gram-Modelle, die später eingeführt wurden, konzentrieren sich auf die Vorhersage umgebender Wörter gegeben ein zentrales Wort, was sich von der strikten Nächste-Token-Vorhersage unterscheidet, aber die Idee teilt, Wortverteilungen aus Kontext zu lernen.
Neuronale Sprachmodelle
Neuronale Sprachmodelle gewannen in den 2000er Jahren zunehmend an Bedeutung. Yoshua Bengio und Koautoren führten ein probabilistisches neuronales Netzwerk-Sprachmodell ein, das verteilte Wortrepräsentationen lernte, während es die Wahrscheinlichkeit von Wortsequenzen schätzte. Diese kontinuierlichen Einbettungen halfen, den Fluch der Dimensionalität zu mildern, indem sie Wörter als nicht-lineare Kombinationen von Gewichten in einem neuronalen Netz darstellten und so das Problem der Datenknappheit bei n-Gramm-Modellen umgingen.
Rekurrente neuronale Netze (RNNs) erweiterten diesen Ansatz, indem sie Informationen aus früheren Wörtern beibehielten, während die Sequenz verarbeitet wurde. 2010 zeigten Tomáš Mikolov und Kollegen, dass rekurrente neuronale Sprachmodelle herkömmliche n-Gramm-Modelle deutlich übertreffen konnten. RNN-basierte Modelle verarbeiten Sequenzen sequentiell und führen einen versteckten Zustand, der den Kontext erfasst, und sagen das nächste Token basierend auf diesem Zustand und dem aktuellen Eingabetoken vorher.
Die Transformer-Revolution
Die Einführung der Transformer (architecture)-Architektur markierte einen bedeutenden Wendepunkt in der Nächste-Token-Vorhersage. Transformer, die auf Selbstaufmerksamkeitsmechanismen basieren, ermöglichen es Modellen, die Bedeutung aller vorherigen Tokens in einer Sequenz gleichzeitig zu gewichten, anstatt sie sequentiell zu verarbeiten. Diese Parallelisierung ermöglichte das Training auf wesentlich größeren Datensätzen und führte zur Entwicklung großer Sprachmodelle.
Stand 2026 basieren große Sprachmodelle überwiegend auf Transformatoren, die mit größeren Datensätzen trainiert werden, die häufig aus Texten aus dem öffentlichen Internet stammen. Diese Modelle haben rekurrente neuronale Netze abgelöst, die zuvor die rein statistischen Modelle ersetzt hatten. Unternehmen wie OpenAI, Anthropic und Google DeepMind haben prominente LLMs entwickelt, die die Nächste-Token-Vorhersage als ihr zentrales Trainingsziel verwenden.
Trainings- und Generierungsprozess
Während des Trainings wird einem Modell eine Sequenz von Tokens präsentiert, und es lernt, jedes Token basierend auf den vorhergehenden Tokens vorherzusagen. Die Verlustfunktion, typischerweise die Kreuzentropie, misst die Differenz zwischen den vorhergesagten Wahrscheinlichkeiten und den tatsächlichen nächsten Tokens. Durch Backpropagation und Optimierungstechniken passt das Modell seine Parameter an, um diesen Verlust über den gesamten Trainingskorpus zu minimieren.
Bei der Inferenz (Textgenerierung) funktioniert der Prozess autoregressiv: Das Modell erhält einen anfänglichen Prompt, sagt das nächste Token vorher, hängt es an den Prompt an und wiederholt den Vorgang. Auf diese Weise wird Text Token für Token generiert, wobei jedes neue Token von allen zuvor generierten Tokens abhängt. Die Auswahl des nächsten Tokens kann deterministisch erfolgen (Auswahl des Tokens mit der höchsten Wahrscheinlichkeit) oder stochastisch (Sampling aus der Wahrscheinlichkeitsverteilung), wobei Techniken wie Temperaturskalierung und Top-k-Sampling die Vielfalt der Ausgabe beeinflussen.
Anwendungen und Auswirkungen
Die Nächste-Token-Vorhersage ermöglicht eine breite Palette von Aufgaben der natürlichen Sprachverarbeitung über die reine Textgenerierung hinaus. Dazu gehören maschinelle Übersetzung, optische Zeichenerkennung, Handschrifterkennung, Grammatikinduktion, Informationsextraktion und sogar Katastrophenhilfe. Die Fähigkeit, Sequenzen in natürlicher Sprache vorherzusagen, macht Sprachmodelle nützlich für Routenoptimierung und andere sequenzbasierte Aufgaben.
Mit der Nächste-Token-Vorhersage trainierte große Sprachmodelle haben bemerkenswerte Fähigkeiten bei Aufgaben wie Textzusammenfassung, Codegenerierung und conversationaler KI (Chatbots) gezeigt. Es bleibt jedoch unklar, ob diese Modelle tatsächlich plausible kognitive Modelle der menschlichen Sprachverarbeitung sind. Zumindest für rekurrente neuronale Netze hat die Forschung gezeigt, dass sie manchmal Muster lernen, die Menschen nicht lernen, aber auch Muster nicht lernen, die Menschen typischerweise lernen.
Evaluierung und Benchmarks
Die Evaluierung von Sprachmodellen erfolgt meist durch Vergleich mit von Menschen erstellten Benchmarks, die aus typischen sprachbezogenen Aufgaben abgeleitet sind. Daneben gibt es weniger etablierte Qualitätstests, die die intrinsischen Eigenschaften eines Modells untersuchen oder zwei Modelle direkt vergleichen. Da Sprachmodelle darauf ausgelegt sind, dynamisch zu sein und aus Daten zu lernen, untersuchen einige vorgeschlagene Modelle auch Lernraten durch die Analyse von Lernkurven.
Für die Evaluierung wurden zahlreiche Datensätze entwickelt, darunter Massive Multitask Language Understanding (MMLU), Corpus of Linguistic Acceptability, GLUE-Benchmark, Microsoft Research Paraphrase Corpus, Multi-Genre Natural Language Inference, Question Natural Language Inference, Quora Question Pairs, Recognizing Textual Entailment, Semantic Textual Similarity Benchmark, SQuAD-Frage-Antwort-Test, Stanford Sentiment Treebank, Winograd NLI, BoolQ, PIQA, SIQA, HellaSwag, WinoGrande, ARC, OpenBookQA, NaturalQuestions, TriviaQA, RACE, BIG-bench hard, GSM8k, RealToxicityPrompts, WinoGender und CrowS-Pairs. Diese Benchmarks bewerten verschiedene Aspekte des Sprachverständnisses und der Sprachgenerierung und bieten standardisierte Maße für den Vergleich der Modellleistung.
Zukünftige Richtungen
Während sich große Sprachmodelle weiterentwickeln, bleibt die Nächste-Token-Vorhersage ein grundlegendes Trainingsziel, aber Forscher erforschen zunehmend Variationen und Erweiterungen. Dazu gehören Trainingsziele, die Reinforcement Learning aus menschlichem Feedback (RLHF) integrieren, sowie Architekturen, die Effizienz und Kontextverarbeitung verbessern. Die laufende Entwicklung spezialisierter Hardware, wie AWS Trainium- und Cerebras-Systeme, zielt darauf ab, die rechenintensiven Anforderungen des Trainings und der Bereitstellung dieser Modelle in großem Maßstab zu unterstützen.