OpenAI o1は、OpenAIによって開発され、2024年9月にプレビュー版として、2024年12月に完全版としてリリースされた推論モデルである。これは従来のGPT-4シリーズからの転換を示し、競技数学、コーディング、科学的問題解決などの多段階推論タスクに明示的に最適化されたトレーニングと推論アプローチを導入したものであり、単に汎用スケールを追求するのではなく、この方向性を重視した。
拡張チェーン・オブ・ソート
o1の中心的な技術革新は、OpenAIの説明によれば、最終回答を生成する前に拡張された内部チェーン・オブ・ソートを生成するようにモデルをトレーニングし、強化学習を用いてその中間推論プロセスの質を向上させた点にある。ユーザーが提供する指示を通じてチェーン・オブ・ソート推論を引き出す従来のプロンプト技術とは異なり、o1はこの推論を自動的に実行し、より難しい問題により多くの計算を割り当てるようにトレーニングされており、このアプローチはテスト時計算スケーリングとして知られるようになった。モデルやトレーニングデータのサイズを増やすだけでなく、推論時にモデルに長く「考える」ことを許すことで能力を向上させることができるという考え方である。OpenAIは、この技術が模倣されることへの競争上の懸念と、生のチェーン・オブ・ソートにフィルタリングされていない、または操作的な内容が含まれる可能性があるという安全性の懸念の両方を理由に、モデルの生の内部推論トレースをユーザーから意図的に隠し、要約版のみを表示した。
性能とベンチマーク
OpenAIは、o1がGPT-4クラスのモデルと比較して、推論重視の評価において大幅な向上を示したと報告しており、競技数学問題やSWE-benchソフトウェアエンジニアリングベンチマークでの大きな改善、および博士課程レベルの科学問題での高い性能を含む。このモデルの向上は、拡張された検証可能な多段階ロジックを必要とするタスクで最も顕著であり、よりオープンエンドなタスクや知識想起タスクでの改善は比較的控えめで、このパターンは生の知識容量と推論能力の間の分野における growing な区別を強化した。
業界への影響
o1のリリースは業界全体で急速な対応を促し、DeepSeekを含む競合ラボが独自の推論重視モデルをリリースし、特に2025年1月のDeepSeek-R1は、同等の推論ベンチマーク性能を劇的に低い報告トレーニングコストで達成し、o1とは異なり、完全なチェーン・オブ・ソート推論トレースとオープンウェイトを公開した。この対比は、OpenAIが推論トレースを隠す決定の価値に関する議論を激化させ、フロンティアAIにおけるオープンウェイト競争のより広範な議論に貢献した。o1は、テスト時計算スケーリングを、事前トレーニングスケールと並ぶ、明確で持続可能なパラダイムとして確立し、その後、OpenAIと競合他社は同じ基盤アプローチに基づくさらなる推論モデルの反復をリリースした。