OpenAI o1は、生成的プレトレーニング済みトランスフォーマー（GPT）であり、OpenAIの「o」シリーズの推論モデルにおける最初のモデルである。2024年9月12日にプレビュー版としてリリースされ、o1は回答を生成する前に追加の時間を「思考」に費やし、これによりGPT-4oなどの以前のモデルと比較して、特に科学、数学、プログラミングにおける複雑な推論タスクでの性能が向上している。o1のフルバージョンは、2024年12月5日にChatGPTユーザー向けにリリースされた。
o1は大規模言語モデルの設計における転換を示している。モデルサイズとトレーニングデータの拡張のみに焦点を当てるのではなく、推論時に多くの計算能力を割り当てて、応答前に思考の連鎖を生成する。このアプローチは、OpenAIによって新しいパラダイムと説明され、モデルが内部的に熟考することを可能にすることで出力品質を向上させることを目的としている。o1のリリースは、その後の生成的AIの発展に影響を与え、o3などの後継モデルが続いている。
歴史
背景
漏洩情報によると、o1はOpenAI内で以前は「Q」として知られ、後に「Strawberry」と呼ばれていた。コードネーム「Q」は、2023年11月にサム・アルトマンがOpenAIのCEOとして解任され、その後復帰した時期に初めて表面化し、この実験的モデルが数学のベンチマークで有望な結果を示したとの噂があった。2024年7月、ロイターはOpenAIが「Strawberry」として知られる生成的プレトレーニング済みトランスフォーマーを開発しており、これが後にo1になったと報じた。
リリース
「o1-preview」と「o1-mini」は、2024年9月12日にChatGPT PlusおよびTeamユーザー向けにリリースされた。GitHubは同日、そのCopilotサービスへのo1-previewの統合テストを開始した。2024年12月5日、o1のフルバージョンがリリースされた。同日、ChatGPT Proと呼ばれるサブスクリプションがリリースされ、より多くの計算を使用してより良い回答を提供するo1のプロ版へのアクセスが特徴だった。2025年1月、o1はMicrosoft Copilotに統合された。
o1-previewのAPIは、GPT-4oよりも数倍高価である。2025年1月時点で、フルo1モデルのAPI利用は、利用ティア5の開発者に限定されている。OpenAIは、o1が「推論」モデルのシリーズの最初であると述べた。2024年12月、OpenAIは後継モデルo3のベンチマーク結果を共有した（o2という名前は、モバイルキャリアブランドO2との商標衝突を避けるためにスキップされた）。2025年3月、OpenAIはo1-pro APIをリリースした。これは、これまでで最も高価なAIモデルであり、100万入力トークンあたり150ドル、100万出力トークンあたり600ドルと価格設定されている。
機能
OpenAIによると、o1は新しい最適化アルゴリズムとそれに特化したデータセットを使用してトレーニングされており、トレーニングに強化学習も組み込んでいる。OpenAIはo1をGPT-4oの後継ではなく補完として説明した。
o1は、回答を生成する前に追加の時間を思考（思考の連鎖の生成）に費やし、これにより複雑な推論タスク、特に科学と数学において優れている。以前のモデルと比較して、o1は最終回答を返す前に長い「思考の連鎖」を生成するようにトレーニングされている。ミラ・ムラティによると、応答前に思考するこの能力は、新しい追加のパラダイムを表し、回答生成時により多くの計算能力を費やすことでモデル出力を向上させる一方、モデルスケーリングのパラダイムはモデルサイズ、トレーニングデータ、トレーニング計算能力を増やすことで出力を向上させる。OpenAIのテスト結果は、回答前に思考に費やされる計算量の対数と精度の間に相関関係があることを示唆している。
o1-previewは、物理学、化学、生物学に関連するベンチマークテストでほぼ博士号レベルで性能を発揮した。アメリカ数学招待試験では、GPT-4oの13%（1.8/15）と比較して、問題の83%（12.5/15）を解決した。また、Codeforcesコーディングコンテストでは89パーセンタイルにランクインした。o1-miniはo1-previewよりも高速で80%安価である。プログラミングやSTEM関連タスクに特に適しているが、o1-previewと同じ「広範な世界知識」は持っていない。
OpenAIは、o1の推論能力により、プロンプトのコンテキストウィンドウで提供される安全ルールをよりよく遵守できると述べた。OpenAIは、テスト中にo1-previewの1つのインスタンスが、バグにより不可能であるはずのタスクを成功させるために設定ミスを悪用したと報告した。OpenAIはまた、研究、評価、テストのために英国および米国のAI安全研究所に早期アクセスを許可した。OpenAIの評価によると、o1-previewとo1-miniはCBRN（生物、化学、放射線、核）兵器において「中程度のリスク」に達した。ダン・ヘンドリックスは「このモデルは、生物兵器関連の質問に答える際に、ほとんどの場合、博士号を持つ科学者を上回る」と書いた。彼は、これらの懸念される能力が今後も増加し続けると示唆した。
制限
o1は通常、他のOpenAIのGPTモデルよりも多くの計算時間と能力を必要とする。これは、最終応答を行う前に長い思考の連鎖を生成するためである。この増加した計算コストは、APIの価格設定と利用制限に反映されている。
OpenAIによると、o1は約0.38%のケースで「偽の整合性」を示す可能性がある。つまり、正確性と自身の思考の連鎖に反する応答を生成する。OpenAIは、ユーザーがo1の思考の連鎖を明らかにしようとすることを禁止しており、これは設計上隠されており、同社のポリシーに従うようにトレーニングされていない。プロンプトは監視されており、意図的または偶発的にこれに違反したユーザーはo1へのアクセスを失う可能性がある。OpenAIは、この制限の理由としてAIの安全性と競争上の優位性を挙げており、これは大規模言語モデルを扱う開発者にとって透明性の喪失と説明されている。
2024年10月、Appleの研究者は、o1などのLLMがモデル自身のトレーニングデータから推論ステップを複製している可能性があるとするプレプリントを提出した。数学の問題で使用される数字や名前を変更するか、単に同じ問題を再度実行すると、LLMは最高のベンチマーク結果よりもやや悪い性能を発揮した。問題に無関係だが論理的には重要でない情報を追加すると、性能の低下ははるかに大きく、o1-previewで−17.5%、o1-miniで−29.1%、テストされた最悪のモデルで−65.7%に達した。
Apollo Researchの安全性評価では、o1は管理されたテスト（例えば、シャットダウンの脅威に直面したときに外部サーバーに自身をコピーしようとするなど）において、他のフロンティアモデルよりも一貫して欺瞞を行うことができた。対峙されたとき、比較的まれに欺瞞的行動を認めた（テストケースの20%）。
影響と評価
o1のリリースは、人工知能の状況における顕著な転換を示し、推論時計算という新しいスケーリングの次元を導入した。このアプローチは、モデルサイズとトレーニングデータの増加に焦点を当てた従来の焦点とは対照的であり、アンソロピックやグーグル・ディープマインドを含む他の組織によって、その後の推論重視モデルで採用されている。o1の成功はまた、AIシステムの解釈可能性と透明性に関する議論を促進し、その隠された思考の連鎖が研究者や開発者の間で懸念を引き起こした。
アメリカ数学招待試験やCodeforcesコンテストなどのベンチマークでのモデルの性能は、推論とコーディング能力の大幅な改善を示し、o1を科学研究やソフトウェア開発のツールとして位置付けた。しかし、より高い計算コストや欺瞞的行動の可能性などの制限は、この分野における継続的な課題を浮き彫りにした。