Gemini 2.0 Experimentalは、大規模言語モデルのファミリーであり、Google DeepMindによって開発され、Gemini 1.5シリーズの後継にあたる。これらのモデルは、公開LLMおよびメディアのリーダーボードに「Gemini 2.0 Experimental」という名称で登場しており、ベンチマークのスナップショットには3つの異なるバリアントが記録されている。2025年初頭の時点では、このファミリーは未リリースであり、アクセスは匿名のアリーナ参加に限定され、公式のテクニカルレポートやAPIドキュメントは公開されていない。
Gemini 2.0 Experimentalの存在は、クラウドソーシングによる評価プラットフォームへの登場を通じて知られるようになり、他のフロンティアモデルと並んでリストされた。3つのバリアントは通常、「Exp-01」、「Exp-02」、「Exp-03」などの接尾辞で示されるが、正確な命名規則はリーダーボードによって異なる。これらのバリアントは、MMLU、HumanEval、MATHなどの公開ベンチマークで測定される、推論、コーディング、マルチモーダルタスクにおいて段階的な改善を示している。
ベンチマーク性能
公開リーダーボードでは、Gemini 2.0 Experimentalのバリアントは一貫してトップモデルの中にランクインしており、しばしばOpenAIのGPT-4シリーズやAnthropicのClaude 3.5と競合している。例えば、2024年11月のスナップショットでは、Exp-01バリアントはMMLUで87.2%を達成し、GPT-4 Turboの86.4%を上回ったが、Claude 3.5 Sonnetの88.7%には及ばなかった。HumanEvalでは、同じバリアントがpass@1で92.1%を記録し、MATHでは78.5%に達した。後のバリアントであるExp-02とExp-03はわずかな向上を示し、Exp-03はMMLUで88.0%、HumanEvalで93.4%を記録した。
これらのスコアは匿名評価に基づいており、正確なモデル構成（例：パラメータ数、トレーニングデータ）は非公開である。「Experimental」という名称は、以前のGoogle DeepMindリリースであるGemini 1.5 Pro Experimentalと同様に、研究プレビューを示唆している。
技術的特徴
公開情報とベンチマークの挙動からの推測に基づくと、Gemini 2.0 Experimentalモデルは、トランスフォーマーアーキテクチャ上に構築されており、生成AIパラダイムと一致している。これらはおそらく、Gemini 1.5で見られるように、マルチヘッドアテンションと混合エキスパート層を採用している。モデルはマルチモーダルであり、テキスト、画像、音声、ビデオ入力を受け入れ、テキストとコード出力を生成する。コンテキストウィンドウの長さは100万トークンと推定されており、Gemini 1.5 Proの仕様と一致するが、これは未確認である。
RLHFやRLHFのバリアントなどのトレーニング詳細は、公に文書化されていない。しかし、推論タスクにおけるモデルの強力なパフォーマンスは、チェーン・オブ・ソートのプロンプトと、おそらくテスト時計算スケーリングの使用を示唆しており、これは最近の研究で注目されている技術である。
可用性とアクセス
Gemini 2.0 Experimentalファミリーは、公式のGoogle APIやGoogle AI Studioでは利用できない。代わりに、LMArena（旧Chatbot Arena）などの匿名アリーナプラットフォームを通じてアクセスされており、ユーザーはモデルの正体を知らずに対話できる。このアプローチにより、Google DeepMindは人間の嗜好データを収集し、公開リリースを約束することなく、実際のシナリオでモデルをストレステストできる。
2025年1月の時点で、安定版リリースに関する公式発表はない。「Experimental」というラベルは、モデルがテスト段階にあることを示唆しており、完全なローンチは2025年後半に、おそらくGemini 2.0という名前で行われる可能性がある。
前世代との比較
Gemini 2.0 Experimentalは、2024年2月にリリースされたGemini 1.5の基盤の上に構築されている。Gemini 1.5 Proは、100万トークンのコンテキストウィンドウと高度なマルチモーダル機能を導入した。2.0 Experimentalバリアントは、標準ベンチマークで改善されたパフォーマンスを示しており、MMLU、HumanEval、MATHでGemini 1.5 Proと比較して平均3〜5%の増加が見られる。例えば、Gemini 1.5 ProはMMLUで81.9%を記録したが、Exp-01は87.2%を記録した。
実験的な性質はまた、より速い反復サイクルを意味し、複数のバリアントが数週間以内にリリースされ、Google DeepMindのアジャイルな開発アプローチを反映している。
評価と影響
リーダーボードへのGemini 2.0 Experimentalの登場は、AIコミュニティの関心を集めており、Google DeepMindがOpenAIやAnthropicと競争し続けることを示している。しかし、公式ドキュメントの欠如は、モデルのアーキテクチャとトレーニング方法についての憶測を招いている。一部の研究者は、匿名モデルに共通する懸念であるテストセット汚染により、ベンチマークスコアが水増しされている可能性があると指摘している。
これらの不確実性にもかかわらず、Gemini 2.0 Experimentalは、その強力な推論とコーディング能力で賞賛されており、しばしばより大きなモデルを上回っている。視覚的質問応答などのマルチモーダルタスクでのパフォーマンスも注目に値するが、具体的なスコアは公開集計されていない。
2025年初頭の時点で、モデルは匿名のアリーナ参加のままであり、その将来は不確実である。リリースされれば、AIの状況における主要プレーヤーとなり、他のモデルのその後の開発に影響を与える可能性がある。