Chain-of-thoughtは、言語モデルが最終的な答えを直接出すのではなく、その前に一連の中間的な推論ステップを生成するよう求められる、または促されるプロンプティング手法である。この手法は、複数ステップの算術、論理、常識推論を必要とするタスクの精度を向上させ、2022年に正式に記述された後、プロンプトエンジニアリングにおける最も影響力のあるアイデアの一つとなった。
起源
この用語は、2022年1月の論文「Chain-of-Thought Prompting Elicits Reasoning in Large Language Models」で、GoogleのJason Weiらによって紹介された。この論文は、プロンプトに少数の解答例を含め、それぞれの例で最終的な答えだけでなく推論ステップを書き出すことで、モデルの数学の文章題や他の複数ステップのタスクにおける性能が劇的に向上することを示した。これは、プロンプト自体を通じて適用される少数ショット学習の一形態である。重要なことに、この論文は、この効果が十分に大きなモデルでのみ現れることを報告し、chain-of-thoughtを創発的能力やスケーリング則の議論と密接に結び付けた。
ゼロショットchain-of-thought
2022年後半、Takeshi Kojimaらによる別の論文は、はるかに単純なプロンプト、すなわち解答例を一切含めずに質問に「let's think step by step」というフレーズを追加するだけで、多くのタスクで推論精度が同様に向上することを発見した。この結果はゼロショットchain-of-thoughtとして知られ、その利点が厳密に少数ショットの例を必要としないことを示した。単にモデルに答える前に推論するよう指示するだけで、より良い性能を引き出すのに十分であることが多く、これはモデルが事前学習から既に持っていた能力に基づくゼロショット行動の一例である。
メカニズムと自己整合性
研究者らは、chain-of-thoughtが役立つ理由についていくつかの説明を提示している。例えば、モデルが答えを確定する前に利用できる計算ステップが増えること、モデルが自身の以前の推論を文脈内学習を通じて追加の文脈として使用できること、単一のフォワードパス内でエラーが静かに複合する可能性を減らすことなどである。関連する手法である自己整合性は、同じ質問に対して複数の独立した推論チェーンを生成し、その中で最も一般的な最終的な答えを採用することで、追加の計算コストを犠牲にして精度をさらに向上させる。
プロンプティング手法から訓練された行動へ
Chain-of-thoughtは、ステップバイステップで推論するように特別に訓練されていないモデルに適用されるプロンプティング戦略として始まったが、新しいクラスのシステムの基盤となった。2024年のOpenAI o1を皮切りに、研究所は、ユーザーがプロンプティングを通じてその行動を要求することに頼るのではなく、答える前に長く効果的な推論チェーンを生成するようにモデルを強化学習で訓練し始めた。この変化は、推論モデルのカテゴリーを生み出し、DeepSeek-R1を含むようになり、chain-of-thoughtを任意のプロンプティングのトリックから、訓練された、しばしば隠された内部プロセスへと再定義した。モデルが実行する推論の量は、テスト時計算と呼ばれる新しいレバーとなり、追加の推論時間を犠牲にして精度を向上させる手段となった。