Chain-of-Thought ist eine Prompting-Technik, bei der ein Sprachmodell aufgefordert oder ermutigt wird, eine Sequenz von Zwischenreasoningschritten zu erzeugen, bevor es eine endgültige Antwort gibt, anstatt direkt zu einer Schlussfolgerung zu springen. Die Technik verbessert die Genauigkeit bei Aufgaben, die mehrere Schritte Arithmetik, Logik oder Alltagsverständnis erfordern, und wurde nach ihrer formalen Beschreibung im Jahr 2022 zu einer der einflussreichsten Ideen im Prompt-Engineering.
Ursprünge
Der Begriff wurde in einem Paper vom Januar 2022, "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models", von Jason Wei und Koautoren bei Google eingeführt. Das Paper zeigte, dass die Einbeziehung einer kleinen Anzahl ausgearbeiteter Beispiele in einen Prompt, jeweils mit ausgeschriebenen Reasoningschritten statt nur der endgültigen Antwort, die Leistung eines Modells bei mathematischen Textaufgaben und anderen mehrstufigen Aufgaben dramatisch verbesserte - eine Form von Few-Shot-Lernen, die über den Prompt selbst angewendet wird. Entscheidend war, dass das Paper berichtete, dass dieser Nutzen nur bei ausreichend großen Modellen auftrat, was Chain-of-Thought eng mit der Diskussion über emergente Fähigkeiten und Skalierungsgesetze verband.
Zero-Shot-Chain-of-Thought
Später im Jahr 2022 fand ein separates Paper von Takeshi Kojima und Koautoren heraus, dass ein viel einfacherer Prompt, das Anhängen des Satzes "lass uns Schritt für Schritt denken" an eine Frage ohne ausgearbeitete Beispiele, eine ähnliche Verbesserung der Reasoninggenauigkeit bei vielen Aufgaben erzielte. Dieses Ergebnis, bekannt als Zero-Shot-Chain-of-Thought, zeigte, dass der Nutzen nicht strikt Few-Shot-Beispiele erforderte; allein die Anweisung an das Modell, vor der Antwort zu reasoning, reichte oft aus, um eine bessere Leistung freizusetzen - ein Fall von Zero-Shot-Verhalten, das auf Fähigkeiten aufbaut, die das Modell bereits aus dem Pretraining hatte.
Mechanismus und Selbstkonsistenz
Forscher haben mehrere Erklärungen dafür angeboten, warum Chain-of-Thought hilft, darunter, dass es dem Modell mehr Rechen- und Denkschritte gibt, bevor es sich auf eine Antwort festlegt, dass es dem Modell ermöglicht, sein eigenes früheres Reasoning als zusätzlichen Kontext über In-Context-Lernen zu nutzen, und dass es die Wahrscheinlichkeit verringert, dass ein Fehler stillschweigend innerhalb eines einzelnen Vorwärtsdurchlaufs eskaliert. Eine verwandte Technik namens Selbstkonsistenz erzeugt mehrere unabhängige Reasoningketten für dieselbe Frage und nimmt die häufigste endgültige Antwort unter ihnen, was die Genauigkeit weiter verbessert, allerdings auf Kosten zusätzlicher Berechnung.
Von der Prompting-Technik zum trainierten Verhalten
Chain-of-Thought begann als eine Prompting-Strategie, die auf Modelle angewendet wurde, die nicht speziell dafür trainiert waren, Schritt für Schritt zu reasoning, wurde aber grundlegend für eine neue Klasse von Systemen. Beginnend mit OpenAI o1 im Jahr 2024 begannen Labore, Modelle mit Reinforcement Learning speziell darauf zu trainieren, lange, effektive Reasoningketten vor der Antwort zu erzeugen, anstatt sich darauf zu verlassen, dass ein Nutzer dieses Verhalten durch Prompting anfordert. Diese Verschiebung führte zur Kategorie der Reasoning-Modelle, einschließlich DeepSeek-R1, und rahmte Chain-of-Thought von einem optionalen Prompting-Trick zu einem trainierten, oft verborgenen internen Prozess um, wobei die Menge an Reasoning, die ein Modell durchführt, zu einem neuen Hebel wurde, genannt Testzeit-Compute, um die Genauigkeit auf Kosten zusätzlicher Inferenzzeit zu verbessern.