Gemma 2は、Google DeepMindによって開発されたオープンウェイトの大規模言語モデルのファミリーである。2024年にリリースされ、以前のGemma 1シリーズを基盤として、複数のサイズにわたって性能と効率の向上を実現している。これらのモデルは研究用途と商用用途の両方のために設計されており、ウェイトは寛容なライセンスの下で公開されている。Gemma 2のバリエーションは、2B、9B、27Bパラメータ版を含む公開リーダーボードに登場しており、9Bと27Bモデルは、より大規模なプロプライエタリシステムと比較されることが多い。
Gemma 2ファミリーは、そのアーキテクチャ上の革新で注目されており、より大規模なモデルにおけるローカルスライディングウィンドウアテンションを備えたマルチヘッドアテンションの使用や、効率的なトレーニングと推論への焦点が含まれる。モデルは多様なテキストコーパスでトレーニングされ、多言語能力と指示追従を重視している。2024年後半時点で、Gemma 2モデルはGoogle Cloud、Amazon Web Services、その他のクラウドプラットフォームを通じて利用可能であり、ローカル展開にも対応している。
アーキテクチャとトレーニング
Gemma 2モデルはTransformerアーキテクチャに基づいており、効率性のための特定の強化が施されている。27Bモデルは、グローバルアテンションとローカルアテンションの組み合わせを使用し、メモリフットプリントを削減しながら長文コンテキストの理解を維持している。すべてのバリアントは、安定したトレーニングのためにレイヤー正規化と残差接続を採用している。トレーニングプロセスでは、ウェブテキスト、書籍、コードを含むデータソースの混合を使用し、高品質なフィルタリングに重点を置いている。
モデルは、ウォームアップとコサイン減衰を含む学習率スケジュールを備えたAdamおよびSGDバリアントを使用してトレーニングされる。不安定性を防ぐために勾配クリッピングが適用される。27Bモデルは、TSMC製造のチップの大規模クラスターでトレーニングされたが、具体的なハードウェアの詳細は公開されていない。トレーニングデータには複数の言語が含まれており、かなりの部分が英語およびその他の主要言語からのものである。
リリースとバリアント
Gemma 2は、2B、9B、27Bパラメータの3つの主要サイズでリリースされた。9Bと27Bモデルは、ベース版と命令チューニング版の両方で利用可能であり、2Bモデルは主に軽量アプリケーション向けである。命令チューニング版は、有用性と安全性を向上させるためにRLHFおよびその他のアライメント技術を使用してファインチューニングされている。モデルはGemmaライセンスの下で配布されており、特定の高リスクアプリケーションに対する制限付きで商用利用が許可されている。
リリースには、事前トレーニング済みチェックポイントとトークナイザーが含まれ、TensorFlowやPyTorchなどのフレームワークをサポートしている。27Bモデルは、MMLUやHumanEvalなどのベンチマークでの競争力のある性能で注目されており、他の組織の同規模モデルをしばしば上回っている。特に9Bモデルは、その効率性が強調されており、より少ない計算リソースでより大規模なモデルに匹敵する性能を達成している。
性能とベンチマーク
Gemma 2モデルは、AI推論、コーディング、多言語タスクを含むさまざまな公開ベンチマークで評価されている。27BモデルはMMLU（大規模マルチタスク言語理解）とGSM8K（小学校算数）で高いスコアを獲得しており、9BモデルはHumanEvalなどのコーディングベンチマークで強い結果を示している。公開リーダーボードでは、Gemma 2バリアントはトップのオープンウェイトモデルにランクインしており、特定のタスクではOpenAIのGPT-3.5やAnthropicのClaude 2の旧バージョンをしばしば上回っている。
モデルは効率的な推論用に設計されており、量子化とプルーニング技術をサポートしている。2Bモデルはエッジデバイスで実行でき、9Bと27Bモデルはクラウド展開に適している。2024年時点で、Gemma 2はさまざまな生成AIプラットフォームに統合されており、Hugging Face（提供リストには含まれていないが、一般的なプラットフォームである）やGroqの高速推論ハードウェアが含まれる。
エコシステムと採用
Gemma 2は、学界と産業界の両方で広く採用されている。研究者は、科学的発見のための機械学習や医療アプリケーションのための深層学習など、ドメイン固有のタスクのファインチューニングにモデルを使用している。Samsung ElectronicsやIntelなどの企業は、Gemma 2を自社製品に統合することを検討しているが、具体的な展開は公開されていない。
モデルは、Microsoft AzureやOracle Cloudを含む主要なクラウドプロバイダーを通じて利用可能であり、オンプレミスソリューションにも対応している。オープンウェイトの性質によりカスタマイズが可能であり、コミュニティは専門的なユースケース向けに多数のファインチューニングバリアントを生み出している。Gemma 2のリリースは、特にニューラルネットワーク研究コミュニティにおいて、オープンウェイトモデルがプロプライエタリシステムに挑戦するという広範なトレンドに貢献している。
制限と将来の方向性
その強みにもかかわらず、Gemma 2には制限があり、トレーニングデータの潜在的なバイアスや時折の事実誤りが含まれる。モデルは、複雑な推論タスクにおいて、OpenAIのGPT-4などの最大のプロプライエタリシステムほど能力は高くない。しかし、その効率性とオープン性は、多くのアプリケーションにとって魅力的である。2024年時点で、Google DeepMindはGemmaシリーズの反復を継続しており、将来のバージョンではマルチヘッドアテンションバリアントや改善されたアライメント手法などの新しい技術が組み込まれると予想される。
Gemma 2のリリースは、大規模モデルのトレーニングの環境影響に関する議論も引き起こしているが、具体的なエネルギー消費量は公開されていない。モデルは前世代よりも効率的になるように設計されており、2Bバリアントは最小限のリソースを必要とする。全体として、Gemma 2は、高品質な言語モデルをより広いオーディエンスにアクセス可能にするための重要な一歩を表している。