Testzeit-Compute bezeichnet die Rechenmenge, die ein Modell während der Erstellung einer Antwort aufwendet, im Unterschied zur Rechenleistung, die während des Trainings verwendet wird. Während des größten Teils der Deep-Learning-Ära kamen Leistungssteigerungen fast ausschließlich durch die Skalierung des Trainings zustande: mehr Parameter, mehr Daten, mehr Trainingsrechenleistung, wie durch Skalierungsgesetze beschrieben. Testzeit-Compute behandelt die Inferenz selbst als zweiten Hebel. Ein Modell kann dazu gebracht werden, länger nachzudenken, mehr Kandidatenantworten zu erkunden oder seine eigene Arbeit zu überprüfen, bevor es eine Antwort zurückgibt, und jede dieser Maßnahmen kostet zusätzliche Rechenleistung im Moment der Nutzung und nicht zur Trainingszeit.
Der Ansatz fand mit OpenAI o1, das von OpenAI im September 2024 veröffentlicht wurde, Einzug in den Mainstream. Anders als frühere Chatbots, die darauf trainiert waren, schnell in einem einzigen Durchgang zu antworten, wurde o1 darauf trainiert, eine erweiterte, weitgehend verborgene Kette interner Überlegungen zu erzeugen, bevor es eine endgültige Antwort produziert, und seine Genauigkeit bei Benchmarks für Mathematik, Programmierung und Logik verbesserte sich messbar, je mehr Reasoning-Tokens erlaubt wurden. Dies etablierte das Reasoning-Modell als eigene Kategorie von Large-Language-Modellen, und Konkurrenten wie DeepSeek-R1 und die „Thinking“-Varianten von Googles Gemini folgten innerhalb von etwa einem Jahr.
Mechanismen
Testzeit-Compute kann auf verschiedene Weise eingesetzt werden. Die einfachste ist die Erzeugung einer längeren Gedankenkette: Das Modell schreibt Zwischenschritte der Überlegung als Text-Tokens aus, bevor es sich auf eine Antwort festlegt, und das Zulassen weiterer Tokens verbessert im Allgemeinen die Leistung bei Aufgaben mit einer klaren richtigen Antwort, wie Arithmetik oder Code-Korrektheit. Eine zweite Familie von Techniken sampelt mehrere unabhängige Antworten und wählt die beste aus, entweder durch Mehrheitsentscheidung (Selbstkonsistenz) oder durch Bewertung der Kandidaten mit einem separaten Verifier oder Belohnungsmodell, manchmal organisiert als Baumsuche über Teillösungen. Ein dritter Ansatz überarbeitet: Das Modell erstellt einen Entwurf, kritisiert ihn und generiert neu, wobei es zusätzliche Durchgänge aufwendet, um Fehler zu erkennen, anstatt sich auf die erste Ausgabe festzulegen.
Diese Methoden unterscheiden sich von den früheren Techniken des In-Context-Lernens und der Prompting-Techniken hauptsächlich darin, wer die zusätzliche Rechenleistung kontrolliert. Prompting-Techniken wie Few-Shot-Learning-Beispiele bitten ein Modell, seine vorhandenen Gewichte effektiver zu nutzen; Testzeit-Compute-Methoden, insbesondere bei Modellen, die mit Verstärkungslernen auf verifizierbaren Belohnungen trainiert wurden, lassen das Modell selbst entscheiden, wie viel interne Überlegung ein gegebenes Problem benötigt, und verbrauchen im Prinzip wenig Rechenleistung für einfache Fragen und viel mehr für schwierige.
Ökonomie und Abwägungen
Da Reasoning-Modelle pro Antwort um ein Vielfaches mehr Tokens verbrauchen können als ein Standard-Chat-Modell, führt Testzeit-Compute einen Kosten- und Latenz-Kompromiss wieder ein, den die Pretraining-Skalierung weitgehend beiseitegeschoben hatte: Labore und Nutzer können nun Genauigkeit direkt zur Inferenzzeit kaufen, indem sie für mehr Denken bezahlen. Dies hat praktische Konsequenzen für das Produktdesign, da ein Coding-Agent oder Forschungsassistent, der auf einem Reasoning-Modell basiert, zehn Sekunden oder Minuten benötigen kann, um eine schwierige Anfrage zu beantworten, und die API-Preise für solche Modelle spiegeln typischerweise sowohl die Ausgabelänge als auch eine Prämie pro Token wider.
Rezeption und offene Fragen
Forscher haben darüber debattiert, wie Testzeit-Compute mit echtem Denken im Vergleich zu einer teureren Form des Musterabgleichs zusammenhängt, und Ergebnisse bei Benchmarks wie ARC-AGI wurden auf beiden Seiten dieses Arguments verwendet: Reasoning-Modelle verbesserten die Punktzahlen erheblich gegenüber früheren Generationen, aber die Leistung verschlechtert sich weiterhin bei Problemen, die Denkmuster erfordern, die in den Trainingsdaten nicht gut repräsentiert sind. Einige Labore beschreiben die Skalierung von Testzeit-Compute als eine neue Achse, die in ihrer Bedeutung mit den ursprünglichen Skalierungsgesetzen vergleichbar ist, mit der Erwartung, dass weitere Gewinne aus effizienterer Suche und Verifikation stammen werden, anstatt aus rein längeren Gedankenketten. Andere stellen fest, dass die Gewinne aus zusätzlicher Inferenz-Rechenleistung ab einem bestimmten Punkt abnehmende Erträge zeigen und dass die Technik am besten als Ergänzung zu, nicht als Ersatz für, Pretraining-Skalierung und Feinabstimmung verstanden wird. Bis 2025 war Testzeit-Compute auch zentral für konkurrierende Behauptungen über Zeitpläne für künstliche allgemeine Intelligenz geworden, da problemspezifische Genauigkeitsgewinne durch „längeres Denken“ den Laboren einen neuen, leicht vermarktbaren Fähigkeitsregler gaben, der sich von den Schlagzeilen-Parameterzahlen unterschied.