推理模型是一种大型语言模型，通常通过强化学习训练，在生成最终答案之前生成一段扩展的内部推理步骤序列，而非像早期模型那样立即作答。该类别与普通的思维链提示不同，后者要求经过常规训练的模型通过提示中的指令逐步推理，因为推理模型经过专门训练，能够产生并改进自身的推理过程，且通常生成的中间文本远多于受提示的模型。
起源
OpenAI于2024年9月推出了首个广为人知的推理模型OpenAI o1，将其描述为通过强化学习在具有可验证答案的问题（如数学和编程）上训练，以在回应前“思考”，其中正确的最终答案可自动检查。OpenAI在很大程度上向用户隐藏了o1的内部推理链，仅显示摘要版本，公司称这一决定旨在保持模型自由推理的能力，包括探索错误路径，而不让未完善的推理被视为最终认可的答案。该方法在需要多步推理的基准测试上带来了显著的准确性提升，包括竞赛数学和诸如SWE-bench的编码任务。
DeepSeek-R1与开放推理模型
2025年1月，中国实验室DeepSeek发布了DeepSeek-R1，这是一个开放权重的推理模型，通过大规模强化学习训练，在多个基准测试上达到或接近OpenAI推理模型的性能，而报告的训练成本仅为后者的一小部分，并且与o1不同，它向用户公开了完整的推理链。此次发布引发了被称为DeepSeek市场冲击的事件，导致AI基础设施股票大规模抛售，并引发了对训练前沿级推理模型所需算力假设的更广泛重新评估。DeepSeek还发布了R1的较小蒸馏版本，使推理风格行为可在足以在普通硬件上运行的模型中实现。
测试时计算
推理模型的关键权衡在于，它们能将额外的测试时计算（即回答时而非训练时花费的更多计算量）转化为在困难问题上的更高准确性。这与缩放定律所描述的传统缩放关系不同，后者侧重于模型大小、训练数据和训练计算；推理模型增加了另一条能力提升轴，无需训练新的更大模型即可实现。包括Noam Brown在内的研究人员（他在加入OpenAI推理模型项目前曾从事推理和战略游戏系统研究）将此类比为人类专家在获得更多思考时间时能比被迫即时回应者给出更好的答案。
评估与局限
推理模型在具有客观可检查答案的任务上表现尤为出色，这推动其评估转向ARC-AGI和竞赛数学等基准，而非更主观的写作或对话任务，在这些任务中，扩展推理的收益不太一致，额外的推理时间和成本也更难合理化。推理模型仍面临与其他语言模型相同的幻觉风险，因为更长的推理并不能保证事实正确的最终答案，且偶尔会产生听起来严谨但嵌入错误步骤的推理轨迹。