Google Gemini 1.5は、Google DeepMindによって開発されたマルチモーダル大規模言語モデルであり、2024年2月にGemini 1.0シリーズのアップグレードとして発表されました。これは、混合専門家（mixture-of-experts）アーキテクチャと、最大100万トークンのコンテキストウィンドウを導入し、モデルが単一のリクエストで膨大な情報を処理・理解することを可能にしました。この発表は、大規模言語モデルの進化における重要な一歩を示し、Gemini 1.5を当時最も高性能なAIシステムの1つとして位置づけました。
Geminiファミリーは、Gemini Pro、Gemini Flash、Gemini Ultraなどのモデルを含み、2023年12月6日に、LaMDAやPaLM 2などの初期のGoogleモデルの後継として初めて発表されました。Gemini 1.5はこの基盤の上に構築され、性能と効率の向上を実現しました。このモデルは、Google CloudのVertex AIプラットフォームとAI Studioを通じて開発者やエンタープライズ顧客に提供され、実験用の無料ティアも用意されました。
アーキテクチャと技術的革新
Gemini 1.5は、以前のバージョンで使用されていた高密度トランスフォーマーモデルから脱却し、混合専門家（MoE）アーキテクチャを採用しました。MoEモデルでは、各入力に対してネットワークのパラメータの一部のみが活性化され、より効率的な計算とスケーリングを可能にします。この設計により、Gemini 1.5は計算コストの比例的な増加なしに、より高い性能を達成することができました。
また、このモデルは、トランスフォーマーの高度なメカニズム、例えばマルチヘッドアテンションや位置エンコーディングを組み込み、長いシーケンスを効果的に処理しました。100万トークンのコンテキストウィンドウは、主要な技術的成果であり、モデルが書籍全体、長大なコードベース、または数時間の動画を1回のパスで処理することを可能にしました。この能力は、アテンションとメモリ管理の革新によって実現され、モデルが非常に長い入力に対して一貫性を維持することを可能にしました。
コンテキストウィンドウの画期的進歩
100万トークンのコンテキストウィンドウは、Gemini 1.5の目玉機能でした。比較すると、OpenAIのGPT-4など、当時のほとんどのLLMは、約32,000〜128,000トークンのコンテキストウィンドウを持っていました。拡張されたコンテキストにより、Gemini 1.5は、映画脚本全体の分析、長大な法的文書の要約、長い会話にわたるコンテキストの維持など、以前は実用的でなかったタスクを処理できるようになりました。
デモでは、GoogleはGemini 1.5が402ページの小説を処理し、それに関する質問に高い精度で回答することを示しました。また、このモデルは動画映像、音声録音、コードリポジトリを分析でき、生成AIアプリケーションのための多用途ツールとなりました。この画期的な進歩は、深層学習で可能なことの限界を押し広げ、AIモデルにおけるコンテキスト処理の新たな基準を設定しました。
性能とベンチマーク
発売時のフラッグシップモデルであるGemini 1.5 Proは、さまざまなベンチマークで前身のGemini 1.0 Ultraを上回りました。推論、コーディング、マルチモーダル理解などのタスクで最先端の結果を達成しました。例えば、57の科目をカバーするMassive Multitask Language Understanding（MMLU）テストで高いスコアを獲得し、数学やコード生成タスクでも強力な性能を示しました。
また、このモデルは長いコンテキストの検索でも優れており、100万トークンの入力内から情報を正確に特定し統合することができました。これは、長い文書を処理する際に一貫性や精度を失うことが多かった初期のモデルからの大幅な改善でした。Gemini 1.5の性能は、そのMoEアーキテクチャと、Google DeepMindが使用した広範なトレーニングデータに起因するとされました。
提供と統合
Gemini 1.5は、当初、Google AI StudioとVertex AIを通じて開発者向けにプレビュー版としてリリースされました。これは2つのサイズで提供されました。複雑なタスク向けに設計されたGemini 1.5 Proと、後に導入されたより高速でコスト効率の高いバリアントであるGemini 1.5 Flashです。これらのモデルはAPIを介してアクセス可能で、開発者がアプリケーションに統合できるようにしました。
2024年2月、GoogleはGemini研究から派生したオープンソースのモデルファミリーであるGemmaも発表しました。Gemmaは商用利用が可能となり、GoogleのAI配布アプローチの転換を示しました。Gemmaのリリースは、Metaなどの競合他社が独自のオープンモデルをリリースする中で、AIにおけるオープンソース運動への対応と見なされました。
Gemini 1.5は、Geminiチャットボット、Google Workspace、Androidなど、さまざまなGoogle製品に統合されました。2024年1月、GoogleはSamsungと提携し、Galaxy S24スマートフォンにGemini Nanoを搭載し、その後、Gemini 1.5はGoogle Oneサブスクリプションサービスを通じてより広いユーザーに提供されました。
AI業界への影響
Gemini 1.5の発表は、人工知能業界に大きな影響を与えました。その100万トークンのコンテキストウィンドウは、競合他社に革新を促し、分野全体でのコンテキスト処理の急速な進歩につながりました。AnthropicやOpenAIなどの企業は、自社モデルのコンテキスト制限を引き上げることで対応し、エンドユーザーに利益をもたらしました。
また、このモデルは混合専門家アーキテクチャの可能性を示し、その後のLLMで人気のある設計選択となりました。さらに、Gemini 1.5のテキスト、画像、音声、動画処理を含むマルチモーダル機能は、AIシステムができることの限界を押し広げ、生成AIアプリケーションの開発に影響を与えました。
評価と批判
Gemini 1.5は、開発者や研究者から概ね肯定的な評価を受け、その長いコンテキスト処理と性能が賞賛されました。しかし、一部の批評家は、モデルの能力が実際のアプリケーションで常に完全に発揮されるわけではないと指摘し、AI安全性やバイアスに関する懸念が残りました。Googleは、責任あるAI開発への取り組みを強調し、広範な安全性テストを実施し、新興規制への準拠を確保するために政府と連携しました。
今後の展開
Gemini 1.5の発表後、Googleはモデルの改良を続けました。2024年9月には、性能が向上した更新版であるGemini-1.5-Pro-002とGemini-1.5-Flash-002がリリースされました。2024年12月には、Googleはリアルタイムの音声および動画対話機能を導入したGemini 2.0 Flash Experimentalを発表しました。これらの展開は、AI研究へのGoogleの継続的な投資と、分野をリードするという野心を強調しました。
Gemini 1.5は、大規模言語モデルの進化におけるマイルストーンを表し、コンテキストのスケーリングと効率が両立できることを示しました。その遺産は、Googleや他のAI研究所からのその後のリリースに明らかであり、AIが達成できる限界を押し広げ続けています。