Ein Reasoning-Modell ist ein Large Language Model, das typischerweise mit Reinforcement Learning trainiert wird, um eine erweiterte interne Sequenz von Denkschritten zu erzeugen, bevor es eine endgültige Antwort liefert, anstatt wie frühere Modellgenerationen sofort zu antworten. Die Kategorie unterscheidet sich vom gewöhnlichen Chain-of-Thought-Prompting, bei dem ein konventionell trainiertes Modell durch Anweisungen im Prompt dazu aufgefordert wird, Schritt für Schritt zu denken, da ein Reasoning-Modell speziell darauf trainiert ist, seinen eigenen Denkprozess zu erzeugen und zu verbessern, und oft weitaus mehr Zwischentext generiert als ein gepromptetes Modell.
Ursprünge
OpenAI führte im September 2024 das erste weithin bekannte Reasoning-Modell, OpenAI o1, ein und beschrieb es als darauf trainiert, vor der Antwort zu „denken“, indem Reinforcement Learning auf Probleme mit überprüfbaren Antworten angewendet wird, wie etwa Mathematik und Programmierung, bei denen eine korrekte endgültige Antwort automatisch geprüft werden kann. OpenAI hielt die interne Denkkette von o1 weitgehend vor den Nutzern verborgen und zeigte nur eine zusammengefasste Version – eine Entscheidung, die das Unternehmen damit begründete, die Fähigkeit des Modells zu bewahren, frei zu denken, einschließlich der Erkundung falscher Pfade, ohne dass dieses unfertige Denken als endgültige, bestätigte Antwort aufgefasst wird. Der Ansatz führte zu erheblichen Genauigkeitsgewinnen bei Benchmarks, die mehrstufiges Denken erfordern, darunter Wettbewerbsmathematik und Programmieraufgaben wie SWE-bench.
DeepSeek-R1 und offene Reasoning-Modelle
Im Januar 2025 veröffentlichte das chinesische Labor DeepSeek DeepSeek-R1, ein Open-Weights-Reasoning-Modell, das mit umfangreichem Reinforcement Learning trainiert wurde und bei mehreren Benchmarks die Leistung der Reasoning-Modelle von OpenAI erreichte oder annäherte – zu einem Bruchteil der berichteten Trainingskosten – und im Gegensatz zu o1 seine vollständige Denkkette den Nutzern offenlegte. Die Veröffentlichung löste den sogenannten DeepSeek-Marktschock aus, der einen großen Ausverkauf bei KI-Infrastrukturaktien und eine breitere Neubewertung der Annahmen über die Rechenleistung auslöste, die zum Training eines Reasoning-Modells auf Spitzenniveau erforderlich ist. DeepSeek veröffentlichte auch kleinere destillierte Versionen von R1, wodurch Reasoning-ähnliches Verhalten in Modellen verfügbar wurde, die kostengünstig genug sind, um auf bescheidener Hardware zu laufen.
Testzeit-Rechenleistung
Der entscheidende Kompromiss von Reasoning-Modellen besteht darin, dass sie zusätzliche Testzeit-Rechenleistung – also mehr Rechenaufwand im Moment der Antwort statt während des Trainings – in höhere Genauigkeit bei schwierigen Problemen umwandeln können. Dies unterscheidet sich von der traditionellen Skalierungsbeziehung, die durch Skalierungsgesetze beschrieben wird und sich auf Modellgröße, Trainingsdaten und Trainingsrechenleistung konzentrierte; Reasoning-Modelle fügten eine weitere Achse hinzu, entlang derer die Fähigkeit verbessert werden konnte, ohne ein neues, größeres Modell zu trainieren. Forscher wie Noam Brown, der an Reasoning- und strategischen Spielsystemen arbeitete, bevor er sich dem Reasoning-Modellprojekt von OpenAI anschloss, haben dies als analog dazu beschrieben, wie ein menschlicher Experte mit mehr Zeit zum Nachdenken bessere Antworten liefert als einer, der gezwungen ist, sofort zu reagieren.
Bewertung und Grenzen
Reasoning-Modelle schneiden besonders gut bei Aufgaben mit objektiv überprüfbaren Antworten ab, was ihre Bewertung hin zu Benchmarks wie ARC-AGI und Wettbewerbsmathematik gelenkt hat, statt zu subjektiveren Schreib- oder Konversationsaufgaben, bei denen der Nutzen erweiterten Denkens weniger konsistent ist und die zusätzliche Inferenzzeit und -kosten schwerer zu rechtfertigen sind. Reasoning-Modelle bleiben zudem demselben Halluzinationsrisiko ausgesetzt wie andere Sprachmodelle, da längeres Denken keine faktisch korrekte endgültige Antwort garantiert und gelegentlich Denkspuren erzeugen kann, die rigoros klingen, aber einen falschen Schritt enthalten.