Meta Llamaリークとは、Meta AIが開発した大規模言語モデルのファミリーであるLLaMA（Large Language Model Meta AI）のモデル重みが、許可なく配布された出来事を指す。2023年3月3日、重みを含むトレントがアップロードされ4chanで共有され、Metaの当初のケースバイケースのアクセスポリシーにもかかわらず、モデルが一般公開された。このリークはオープンソースAIコミュニティに大きな影響を与え、広範な実験を促し、Metaがその後Llama 2をより寛容なライセンスでリリースする決定に影響を与えた。
LLaMAは2023年2月24日に、70億から650億パラメータに及ぶ一連の基盤モデルとして発表された。Metaはこれを研究ツールとして位置づけ、学術研究者や産業研究所にのみアクセスを許可していた。リークはこれらの制限を回避し、世界中の開発者が消費者向けハードウェア上でモデルを実行・微調整できるようにし、強力なAIシステムのアクセシビリティに関する革新と議論の波を引き起こした。
背景
2020年代初頭、GPT-3のリリースと2022年11月のChatGPTの登場は、大規模言語モデルの能力を浮き彫りにした。研究者はモデルのスケーリングに注力し、推論や翻訳などの創発的能力を観察した。Metaの最高AI科学者であるヤン・ルカンは、LLMの優位性に懐疑的な見解を示し、それらは一般的な知能よりも文章作成支援に最適であると示唆した。それにもかかわらず、Metaは独自のLLM研究を進め、LLaMAの作成につながった。
初期リリースとアクセスポリシー
LLaMAの最初のバージョンは、ブログ投稿とそのトレーニング、アーキテクチャ、パフォーマンスを詳述した論文を通じて紹介された。推論コードはGPLv3の下でオープンソース化されたが、重みは申請プロセスの背後にゲートされた。Metaは学術研究者、政府機関、産業研究所にアクセスを提供することを目指し、承認はケースバイケースで行われた。モデルは公開データでトレーニングされ、Metaは13Bパラメータ版が多くのベンチマークでGPT-3を上回り、65BモデルはPaLMやChinchillaなどの最先端システムに匹敵すると報告した。
リーク
2023年3月3日、LLaMAの重みを含むトレントがアップロードされ、4chanでリンクが共有され、その後AIコミュニティ全体に広がった。数日以内に、公式LlamaリポジトリへのプルリクエストがマグネットリンクとモデルをホストするHuggingFaceリポジトリを追加した。Metaはこれに対応し、3月6日にHuggingFaceに対して許可のない配布を理由に削除要求を提出し、3月20日にはGitHubリポジトリに対するDMCA要求を提出した。リークは広く議論され、悪意のある使用を懸念する声がある一方、AIの民主化を祝う声もあった。コメンテーターはこの出来事を、同様に生成AI開発を加速させたStable Diffusionのリリースと比較した。
オープンソースAIへの影響
リークにより、研究者や愛好家はLLaMAをさまざまなタスクに微調整できるようになり、生成AIアプリケーションの急速な進歩につながった。小型モデルは消費者向けGPUで実行でき、参入障壁を低減した。この期間には、多数の微調整済みバリアントやツールが登場し、活気あるエコシステムが育まれた。リークはまた、猫はすでに袋から出ていたため、Metaに配布戦略の再考を迫った。
Llama 2と商業化
2023年7月18日、MetaはMicrosoftとの提携でLlama 2を発表し、7B、13B、70Bパラメータモデルをリリースした。オリジナルとは異なり、Llama 2は基盤モデルとチャット調整版の両方を含み、重みはカスタムライセンスの下で商用利用が可能になった。ただし、このライセンスは許容される使用制限を課し、オープンソースイニシアティブがMetaの「オープンソース」という用語の使用に異議を唱える結果となった。Llama 2は前身より40%多いデータでトレーニングされ、そのリリースはより広範なアクセシビリティへの移行を示した。
プログラミングに特化したバリアントであるCode Llamaは、2023年8月24日に7B、13B、34Bサイズでリリースされ、2024年1月29日には70Bバージョンが続いた。これらのモデルはコードデータセットで微調整され、コーディングタスクでのパフォーマンス向上を示した。
Llama 3とその後
2024年4月18日、MetaはLlama 3を8Bおよび70Bパラメータサイズでリリースし、約15兆トークンでトレーニングされた。モデルは多くのベンチマークでGemini Pro 1.5やClaude 3 Sonnetなどの競合を上回る強力なパフォーマンスを示した。特に、Llama 3はトレーニングデータがChinchilla最適量を超えてもパフォーマンスが向上し続けることを実証し、スケーリング慣行に影響を与えた。マーク・ザッカーバーグは、8Bモデルが最大のLlama 2にほぼ匹敵し、70Bモデルはトレーニング終了時にもまだ学習中であると述べた。
Llama 3.1は2024年7月23日に続き、405Bパラメータモデルと拡張コンテキストウィンドウを導入した。Metaはまた、Llamaに基づくアシスタントであるMeta AIを立ち上げ、FacebookとWhatsAppに統合した。最新バージョンのLlama 4は2025年4月に登場したが、2026年4月にはMeta Superintelligence Labsがその後継としてMuse Sparkをリリースし、新たな方向性を示した。
遺産と論争
リークはAI史における極めて重要な瞬間であり、企業の管理とオープンアクセスの間の緊張を浮き彫りにした。それはオープンソース運動を加速させ、OllamaやLM StudioなどのローカルLLMとツールの普及につながった。しかし、重みがスパムや偽情報に使用される可能性があるため、悪用に関する懸念も引き起こした。Metaのその後のリリースは、オープン性と安全性のバランスを取ろうとしたが、AIにおける「オープンソース」の意味についての議論は続いている。
関連項目
参考文献
この記事は、リーク時およびその後のリリース時点での公開情報と報告に基づいている。