Ein autoregressives Modell ist ein generatives Modell, das eine Sequenz Element für Element erzeugt, wobei jedes neue Element von allem zuvor Erzeugten abhängt. In der Verarbeitung natürlicher Sprache bedeutet dies, die Vorhersage des nächsten Tokens auf der Grundlage der bereits erzeugten Sequenz von Tokens und die anschließende Rückführung dieses Tokens in das Modell, um das darauffolgende vorherzusagen. Der Begriff stammt aus der Statistik, wo autoregressive Modelle einen Wert in einer Zeitreihe aus seinen eigenen vergangenen Werten vorhersagen; moderne große Sprachmodelle wenden dieselbe Links-nach-rechts-Faktorisierung auf Text an.
Die autoregressive Generierung ist die Standard-Dekodierungsstrategie der meisten modernen Chat-Assistenten, die auf großen Sprachmodellen basieren, von OpenAIs GPT-Serie bis hin zu Anthropics Claude und Metas Llama. Sie ist nicht die einzige Möglichkeit, Sequenzen zu erzeugen, aber sie bleibt bis 2025 das dominierende Paradigma für Text, und Varianten davon werden für Audio, Code und sogar einige Bildmodelle verwendet.
Geschichte
Das statistische AR-Modell geht auf Arbeiten über Zeitreihen aus den 1920er-Jahren zurück, lange vor der Existenz von Computern. Beim Sprachmodellieren waren N-Gramm-Modelle der 1980er- und 1990er-Jahre im Geiste autoregressiv: Sie sagten ein Wort aus einem festen Fenster vorhergehender Wörter mithilfe ausgezählter Wahrscheinlichkeiten voraus. Neuronale autoregressive Sprachmodelle entstanden mit rekurrenten neuronalen Netzen und später LSTM-Netzwerken, die eine Sequenz Schritt für Schritt verarbeiteten und bei jedem Schritt das nächste Wort vorhersagten. Dieses Paradigma wurde im Wesentlichen unverändert in die Transformer-Architektur übernommen: GPT-2 und seine Nachfolger sind Decoder-only-Transformer, die darauf trainiert sind, das nächste Token vorherzusagen – ein Ziel, das manchmal als kausales Sprachmodellieren bezeichnet wird.
Funktionsweise
Während des Trainings wird einem autoregressiven Modell ein Textkorpus gezeigt, und an jeder Position wird es aufgefordert, das folgende Token basierend auf allen vorherigen Tokens vorherzusagen. Dieser Ansatz wird als selbstüberwachtes Lernen bezeichnet, da die Beschriftungen aus dem Text selbst und nicht aus menschlicher Annotation stammen. Die Verlustfunktion des Modells ist typischerweise die Kreuzentropie zwischen der vorhergesagten Verteilung des nächsten Tokens und dem tatsächlichen nächsten Token. Zur Inferenzzeit bestimmen Abtaststrategien wie Greedy-Decoding, Top-k- oder Nucleus-Sampling, wie das nächste Token aus der vom Modell vorhergesagten Wahrscheinlichkeitsverteilung ausgewählt wird. Das ausgewählte Token wird dann zum Kontext hinzugefügt, bevor die nächste Vorhersage getroffen wird – ein Prozess, der wiederholt wird, bis ein End-of-Sequence-Token oder ein Längenlimit erreicht ist.
Autoregressiv im Vergleich zu anderen Ansätzen
Autoregressive Modelle stehen im Gegensatz zu nicht-autoregressiven und diffusionsbasierten Ansätzen. Diffusionsmodelle, die für die meisten Bild- und Videogenerierungen verwendet werden, erzeugen eine vollständige Ausgabe auf einmal und verfeinern sie iterativ, indem sie Rauschen entfernen, anstatt Element für Element zu generieren. Einige Forschungssysteme haben nicht-autoregressive Textgenerierung aus Geschwindigkeitsgründen untersucht, und Mitte der 2020er-Jahre experimentierten einige Labore mit diffusionsbasierten Textmodellen, aber keines hatte die autoregressive Dekodierung bis 2025 als gängigen Ansatz für Sprache verdrängt. State-Space-Modelle wie Mamba sind in dem Sinne ebenfalls autoregressiv, dass sie sequenziell vorhersagen, ersetzen jedoch den Aufmerksamkeitsmechanismus des Transformers durch eine andere Rechenstruktur.
Einschränkungen
Die autoregressive Generierung ist von Natur aus sequenziell: Jedes Token hängt vom vorherigen ab, was die Parallelität zur Inferenzzeit im Vergleich zum Training einschränkt, wo alle Positionen gleichzeitig mithilfe von Teacher Forcing berechnet werden können. Dieser sequenzielle Engpass hat Techniken wie spekulatives Dekodieren motiviert, bei dem ein kleineres Entwurfsmodell mehrere Tokens vorschlägt, die das größere Modell parallel überprüft. Autoregressive Modelle können auch kleine Fehler verstärken: Ein unwahrscheinliches oder falsches Token am Anfang einer Generierung wird Teil des Kontexts für jedes nachfolgende Token – eine Dynamik, die mit Halluzination und einer verschlechterten Ausgabequalität bei sehr langen Generierungen zusammenhängt.
Auswirkungen
Das autoregressive Ziel der Vorhersage des nächsten Tokens ist zentral für die Geschichte der modernen KI: Es ist einfach, erfordert keine gelabelten Daten und skaliert vorhersagbar mit Daten und Rechenleistung – ein Zusammenhang, der im Rahmen der Skalierungsgesetze untersucht wird. Seine Einfachheit ist ein Grund dafür, dass ein einziges Trainingsziel Modelle hervorbringen konnte, die zu Übersetzung, Programmierung und Argumentation fähig sind, ohne aufgabenspezifische Architekturen – eine Allgemeingültigkeit, die später in der Idee des Basis- beziehungsweise Grundlagenmodells formalisiert wurde.