Der Kontextfenster ist die maximale Textmenge, gemessen in Token, die ein Sprachmodell auf einmal berücksichtigen kann, einschließlich der vom Benutzer bereitgestellten Eingabeaufforderung, etwaiger Systemanweisungen, abgerufener Dokumente und der bisherigen eigenen Ausgabe des Modells. Es fungiert als Arbeitsspeicher des Modells: Informationen außerhalb des Kontextfensters sind für das Modell zur Generierungszeit unsichtbar, sofern sie nicht explizit erneut bereitgestellt werden.
Technische Grundlage
Die Größe des Kontextfensters wird durch den Aufmerksamkeitsmechanismus im Kern der Transformer (architecture)-Architektur begrenzt, der Beziehungen zwischen jedem Paar von Token in der Eingabe berechnet. Da diese Berechnung in der Standardformulierung quadratisch mit der Sequenzlänge skaliert, vervierfacht eine Verdopplung des Kontextfensters ungefähr den Rechen- und Speicheraufwand, was historisch lange Kontextfenster teuer machte. Spätere technische Verfahren, darunter sparse und windowed Attention-Varianten, Key-Value-Cache-Kompression und spezialisiertes Speichermanagement, senkten diese Kosten so weit, dass wesentlich größere Fenster wirtschaftlich praktikabel wurden.
Wachstum im Laufe der Zeit
Frühe transformerbasierte Sprachmodelle unterstützten nur einige hundert bis ein paar tausend Token; GPT-3, 2020 von OpenAI veröffentlicht, unterstützte etwa 2.048 Token. Die Kontextfenster wuchsen in den folgenden Jahren stetig: GPT-4 startete 2023 mit Varianten, die bis zu 32.000 Token unterstützten, und bis 2024 boten mehrere Labore Kontextfenster im Bereich von Hunderttausenden von Token an. Gemini von Google DeepMind wurde für die Unterstützung von Kontextfenstern mit einer Million Token oder mehr bekannt, genug, um einen ganzen Roman, eine große Codebasis oder Stunden von Videotranskripten in einer einzigen Eingabeaufforderung zu verarbeiten. Claude (AI model family)-Modelle von Anthropic erweiterten sich in nachfolgenden Veröffentlichungen ebenfalls von anfänglich 9.000 Token auf Kontextlängen im Bereich von Hunderttausenden von Token.
Abwägungen und Einschränkungen bei langen Kontexten
Ein größeres Kontextfenster garantiert nicht, dass ein Modell es vollständig gut nutzt. Die Forschung zur Leistung bei langen Kontexten hat wiederholt einen „Lost in the middle“-Effekt festgestellt, bei dem Modelle Informationen, die am Anfang oder Ende eines langen Kontexts platziert sind, genauer abrufen können als Informationen in der Mitte, selbst wenn nichts in der Architektur diese Positionen formal bevorzugt. Langzeit-„Nadel im Heuhaufen“-Tests, bei denen eine bestimmte Tatsache in einer großen Menge irrelevanter Texte versteckt wird, wurden zu einem Standardverfahren, um zu messen, ob der effektive Kontext eines Modells dem beworbenen Maximum entspricht. Die Bereitstellung sehr langer Kontexte ist zudem rechenintensiv, sodass Systeme oft vor der praktischen Wahl stehen, entweder große Mengen Rohtext in das Kontextfenster zu laden oder Retrieval-augmented generation zu verwenden, um nur die relevantesten Passagen auszuwählen, wobei Vollständigkeit gegen Kosten und im Prinzip Genauigkeit abgewogen wird.
Zusammenhang mit dem Denken
Das Kontextfenster begrenzt auch Techniken wie Chain-of-thought-Prompting und Reasoning-Modelle, die vor der endgültigen Antwort umfangreichen Zwischentext erzeugen; ein Modell, das ausführlich nachdenkt, verbraucht einen Teil seines eigenen Kontextfensters mit diesem Denken, was ein Grund dafür ist, dass längere Kontextfenster mit der Verbreitung dieser Techniken wichtiger wurden.