Gemma 3は、Google DeepMindによって開発されたオープンウェイトの大規模言語モデルのファミリーである。2025年3月12日にリリースされたこれらのモデルは、Gemini 2.0モデルと同じ研究と技術に基づいて構築されているが、開発者や研究者がローカルまたは自社のインフラストラクチャで実行できるように設計されている。Gemma 3には、1B、4B、12B、27Bパラメータの4つの主要なサイズが含まれており、それぞれベース版と命令チューニング版のバリアントが用意されており、2025年後半時点で公開ベンチマークスナップショットには合計11のバリアントが登場している。
これらのモデルは、テキストと画像の両方の入力を受け入れるマルチモーダル機能と、最大128,000トークンのコンテキストウィンドウをサポートすることで注目されている。Gemma 3はまた、以前のGemmaリリースから大幅に拡張された140以上の言語のサポートも含んでいる。このファミリーは、特に30Bパラメータ未満の範囲において、OpenAIやAnthropicのモデルに対する競争力のあるオープンウェイトの代替として位置づけられている。
アーキテクチャとトレーニング
Gemma 3モデルは、マルチヘッドアテンションを備えたトランスフォーマーアーキテクチャを使用しており、より大きなサイズでは効率性のためにグループ化クエリアテンションを組み込んでいる。モデルは、高品質なフィルタリングに焦点を当てた、ウェブ文書、コード、数学データの混合でトレーニングされている。27Bモデルは、SwiGLU活性化関数と回転位置埋め込みを使用している。トレーニングでは、Adamをコサイン学習率スケジュールと勾配クリッピングとともに使用した。
一部のプロプライエタリモデルとは異なり、Gemma 3の重みは寛容なライセンスの下でリリースされており、商用利用とファインチューニングが可能である。命令チューニング版のバリアントは、RLHF（人間のフィードバックからの強化学習）と教師ありファインチューニングを使用して調整され、追加の安全性フィルタリングが施されている。
パフォーマンスとベンチマーク
公開リーダーボードでは、Gemma 3 27Bは、MMLU（大規模マルチタスク言語理解）、GSM8K（小学校算数）、HumanEval（コード生成）などの標準ベンチマークで競争力のあるスコアを達成している。2025年半ばの時点で、27B命令モデルは、特定の推論タスクにおいて多くのより大きなプロプライエタリモデルを上回っているが、複雑な多段階推論では最大級のフロンティアモデルには及ばない。4Bと12Bのサイズは、エッジデバイスやコンシューマーハードウェアでの展開に最適化されており、1Bモデルはモバイルアプリケーションに適している。
Gemma 3はまた、多言語タスク、特に低リソース言語で強いパフォーマンスを示している。モデルは、前世代と比較して長いコンテキストの処理が改善されており、128Kトークンの入力にわたって一貫性を維持している。
展開とエコシステム
Gemma 3は、複数のチャネルを通じて利用可能である。Google Cloud Vertex AIやAmazon Web Services SageMaker、さらに高速推論のためのGroqやSambaNovaを通じてアクセスできる。モデルは、Hugging Face TransformersやvLLMを含む標準的な機械学習フレームワークと互換性がある。
ローカル展開では、Gemma 3はプルーニングや4ビット量子化などの量子化技術をサポートしており、27Bモデルを単一の高性能GPUで実行できる。より小さなバリアントは、ラップトップやRaspberry Piクラスのデバイスで実行できる。Googleは、ファインチューニングと展開の例を含むGemma Cookbookを提供している。
安全性と責任ある使用
Google DeepMindは、Gemma 3に対して多層的な安全性アプローチを実装した。命令チューニングモデルには、有害なプロンプトを拒否するようにトレーニングされた安全性フィルタが含まれており、同社は安全性ベンチマークでの評価を詳述したモデルカードを公開した。ただし、オープンウェイトモデルとして、Gemma 3は安全性ガードレールを除去するためにファインチューニングできる可能性があり、これは開発者によって認められたトレードオフである。ライセンスには、兵器開発や監視などの特定の高リスクアプリケーションでのモデルの使用禁止が含まれている。
評価と影響
Gemma 3は、パフォーマンスとアクセシビリティのバランスにおいて、AIコミュニティで肯定的な評価を受けた。独立した評価では、27Bモデルは特定のタスクでより大きなクローズドモデルの品質に匹敵するかそれを上回ることが多く、実行コストは大幅に低いことが指摘された。このリリースは、AlibabaやAI21 Labsなどの他の組織の取り組みとともに、オープンウェイトモデルがプロプライエタリシステムに挑戦するという成長傾向に貢献した。
2025年後半の時点で、Gemma 3は、オンプレミスまたはプライバシー保護AIを必要とする研究および本番アプリケーションで人気のある選択肢であり続けている。その後継であるGemma 3nは2025年後半に発表されたが、Gemma 3は学術および産業の設定で広く使用され続けている。