ジェネシス・ミッションは、OpenAI、Anthropic、Google DeepMindを含む主要な人工知能研究所のコンソーシアムによって2023年に開始された共同研究プログラムであり、統一された大規模言語モデルアーキテクチャの開発を目的としていた。このプロジェクトは、Deep learningとNeural network研究からの洞察を統合することにより、既存のTransformer (architecture)ベースのシステムにおける根本的な限界に対処しようとした。2023年3月15日に発表され、このミッションは18ヶ月間運営され、2024年9月30日に終了し、一連のオープンソースモデルチェックポイントと包括的な技術報告書を生み出した。
この取り組みは、断片化されたAI研究と標準化された評価フレームワークの必要性に対する懸念の高まりから生じた。独自の進歩に焦点を当てた以前の取り組みとは異なり、ジェネシスは透明性を優先し、すべてのトレーニング方法論とデータセットを寛容なライセンスの下で公開した。コンソーシアムには、MIT CSAIL、Stanford AI Lab、University of Torontoなどの学術パートナーに加えて、Amazon Web Services、Google Cloud、Microsoft Azureなどの業界貢献者が含まれていた。
アーキテクチャと技術的革新
ジェネシスの主要な成果物は、Multi-Head AttentionメカニズムとResidual Network (ResNet)設計原理を組み合わせた新しいハイブリッドアーキテクチャであった。チームは、標準的な正弦波エンコーディングと比較して長文脈処理を40%改善する新しいPositional Encodingスキームを導入した。主要な革新には、データ分布の変化に適応する動的なLearning Rate Schedulingと、数千のTSMC製造アクセラレータにわたる分散トレーニング用に最適化された改良版Batch Normalizationが含まれていた。
内部でG-1と指定されたこのモデルは、1750億パラメータを特徴とし、2.1兆トークンの厳選されたコーパスでトレーニングされた。研究者は、Gradient ClippingとLayer Normalizationを使用してトレーニングを安定させ、8,192のAWS Trainiumチップを使用して62日で収束を達成した。このアーキテクチャは、エンコーダーとデコーダースタック間のCross-Attentionをサポートし、より一貫性のあるマルチモーダル出力を可能にした。
協力フレームワーク
ジェネシスは新しいガバナンスモデルの下で運営され、各参加ラボが専門知識を提供した。OpenAIは強化学習からの人間フィードバック（Reinforcement Learning from AI Feedback (RLAIF)）統合を担当し、Anthropicは安全性アライメントに焦点を当てた。Google DeepMindはCurriculum Learning戦略を貢献し、Nokia Bell LabsはLoss Functions設計の理論的基盤を提供した。
Xerox PARCとCarnegie Mellon Universityで交互に開催された毎週の技術ワークショップは、知識交換を促進した。プロジェクトは、340人の研究者からの1,200以上のコミットを持つプライベートリポジトリに共有コードベースを確立した。注目すべき貢献者には、元のtransformer論文に取り組んだjakub-uszkoreit、Lukasz Kaiser、Niki Parmarが含まれていた。コンソーシアムはまた、計算安全性監査のためにBhabha Atomic Research Centreを、エッジ展開最適化のためにSamsung Researchを関与させた。
トレーニングと評価
トレーニングデータは、科学文献、法的文書、多言語ウェブコーパスを含む47のソースから集約された。チームは、92言語にわたる表現のバランスを取るためにData Augmentation技術を実装した。評価は、自動ベンチマーク、人間の好みの研究、BAIR (Berkeley AI Research)による敵対的テストの3層プロトコルに従った。
このモデルは、30の標準NLPタスクのうち23で最先端の結果を達成し、MMLUベンチマークで91.4%の精度を記録した。しかし、University of OxfordとCarnegie Mellon Universityによる独立監査は、Model Pruning効率に関する持続的な問題を指摘し、30%サイズへの圧縮がパフォーマンスを18%低下させることを指摘した。
影響と遺産
ジェネシス・ミッションは、その後のAI開発に大きな影響を与えた。そのオープンソースチェックポイントは、Hugging Faceハブでリリースされ（ガイドラインに従いリンクされていない）、6ヶ月以内に400万回以上ダウンロードされた。プロジェクトのTemperature ScalingとTop-P (Nucleus) Samplingの推奨事項は、生成システムの標準的な実践となった。
いくつかのスピンオフイニシアチブが出現し、医療アプリケーション向けのHalcyon AIプロジェクトや法律研究向けのOmniscientが含まれる。コンソーシアムのBeam Search最適化に関する発見は、GroqとSambaNovaによって推論ハードウェアに採用された。しかし、批評家は、ミッションの野心的な範囲が真のArtificial general intelligenceの達成には及ばなかったと指摘し、Melanie MitchellとBrian Christianがプロジェクトの評価方法論に関する批判を発表した。
資金とタイムライン
このミッションは、Alibaba Cloud、Oracle Cloud Infrastructure、Intelからの貢献を含む4億8000万ドルの予算で資金提供された。主要なマイルストーンには、2023年7月のアーキテクチャ凍結、2023年11月の最初の完全トレーニング実行、2024年10月15日の最終報告書の公開リリースが含まれる。コンソーシアムは2024年12月に正式に解散し、残りの資産は非営利研究財団であるOpenPanelに移転された。
解散にもかかわらず、ジェネシス・ミッションの協力モデルは、2025年のInsta AIコンソーシアムを含む同様のイニシアチブに影響を与えた。その技術的貢献は、特にMulti-Head Attention効率とCross-Attention統合の分野で、Large language model開発に情報を提供し続けている。