2023年3月、Meta初の大規模言語モデルであるLLaMAのモデル重みがオンライン上に流出し、BitTorrentやその他のプラットフォームを通じて一般公開された。この流出は、モデルが研究者向けに初期限定公開された直後に発生し、幅広い開発者や研究者のコミュニティがモデルをダウンロード、実行、微調整することを可能にした。これにより、オープンソースAI開発が大幅に加速し、アクセシビリティ、安全性、AI配布の未来に関する議論が巻き起こった。
背景
GPT-3などの大規模言語モデルの登場後、AI研究の主要な焦点はモデルの大規模化であり、一部のケースでは創発的能力の大幅な向上が見られた。ChatGPTのリリースとその予想外の成功は、大規模言語モデルへの関心の高まりを引き起こし、多くの組織が自社のAIプログラムを加速させるきっかけとなった。
ChatGPTへの他の対応と比較して、Metaの最高AI科学者であるYann LeCunは、大規模言語モデルは文章作成の補助に最適であると述べた。MetaのLLaMAモデルのリリースへのアプローチは、GPT-3とChatGPTの重みをプロプライエタリに保持したOpenAIのそれとは異なっていた。
LLaMAの初期リリース
LLaMAの最初のバージョン（LLaMAと表記され、Llama 1とも呼ばれることがある）は、2023年2月24日に、モデルのトレーニング、アーキテクチャ、パフォーマンスを説明するブログ投稿と論文を通じて発表された。モデルを実行するための推論コードは、オープンソースのGPLv3ライセンスの下で公開された。モデルの重みへのアクセスは申請プロセスによって管理され、アクセスは「学術研究者、政府、市民社会、学界の組織に所属する者、および世界中の産業研究機関に、ケースバイケースで付与される」とされた。
LLaMAは公開情報のみでトレーニングされ、さまざまなモデルサイズでトレーニングされ、異なるハードウェアへのアクセシビリティを高めることを目的としていた。このモデルは専ら基盤モデルであり、論文には指示微調整されたモデルの例が含まれていたが、それ自体は基盤モデルに限定されていた。
Meta AIは、13BパラメータモデルのほとんどのNLPベンチマークでのパフォーマンスが、はるかに大きなGPT-3（175Bパラメータ）を上回り、最大の65BモデルはPaLMやChinchillaなどの最先端モデルと競合すると報告した。
流出
2023年3月3日、LLaMAの重みを含むトレントがアップロードされ、トレントへのリンクが4chan画像掲示板で共有され、その後オンラインのAIコミュニティを通じて拡散した。同日、公式ドキュメントにマグネットリンクを追加するよう求めるプルリクエストがメインのLLaMAリポジトリに開かれた。3月4日には、モデルを含むHuggingFaceリポジトリへのリンクを追加するプルリクエストが開かれた。
3月6日、MetaはプルリクエストでリンクされたHuggingFaceリポジトリの削除要求を提出し、これをモデルの「無許可配布」と特徴づけた。HuggingFaceは要求に応じた。3月20日、MetaはミラーからLLaMAをダウンロードするスクリプトを含むリポジトリに対して著作権侵害のDMCA削除要求を提出し、GitHubは翌日これに応じた。
流出への反応
流出への反応はさまざまであった。一部は、モデルがより洗練されたスパムなど、悪意のある目的に使用されるだろうと推測した。他方では、モデルのアクセシビリティと、モデルの小規模バージョンが比較的安価に実行できるという事実を祝し、これが追加の研究開発の繁栄を促進するだろうと示唆した。
Simon Willisonなど複数のコメンテーターは、LLaMAをStable Diffusionと比較した。これは、先行する同等の洗練されたモデルとは異なり、オープンに配布されたテキストから画像を生成するモデルであり、関連するツール、技術、ソフトウェアの急速な普及につながった。流出は事実上、LLaMAをオープンウェイトモデルに変え、Metaの制御されたアクセスを迂回し、コミュニティ主導の実験の波を可能にした。
オープンソースAIへの影響
流出はオープンソースAIエコシステムの開発を加速させた。数週間以内に、開発者は指示追従やチャットなどの特定のタスク向けに微調整されたLLaMAのバージョンを作成し、LoRAやQLoRAなどの技術を使用してコンシューマーハードウェアでモデルを実行した。これにより、ローカルチャットボットや研究プロジェクトなど、制限付きアクセスの下では不可能だったであろうツールやアプリケーションが急増した。
流出はまた、Metaのその後のリリース戦略にも影響を与えた。流出したモデルの成功とコミュニティの熱意は、Metaが2023年7月にLlama 2を、商業利用を許可するより寛容なライセンスでリリースする決定に貢献した可能性が高い。ただし、制限はあった。これは、当初のケースバイケースの学術アクセスから、より広範な公開リリースへの移行を示したが、ライセンスは依然として特定の使用を禁止しており、オープンソースとしての資格をめぐる論争につながった。
その後のバージョン
流出後、MetaはLLaMAファミリーの開発を継続した。2023年7月18日、Microsoftとの提携により、Metaは次世代のLlamaであるLlama 2を発表した。MetaはLlama 2を7、13、700億パラメータの3つのモデルサイズでトレーニングし、リリースした。モデルアーキテクチャはLlama 1からほぼ変更されていなかったが、基盤モデルのトレーニングには40%多いデータが使用された。
Llama 2には、基盤モデルとチャット用に微調整されたモデルが含まれていた。元のバージョンからのさらなる逸脱として、すべてのモデルは重み付きでリリースされ、多くの商業ユースケースで使用できた。Llamaのライセンスは特定の目的を禁止する利用規定を強制していたため、厳密な意味でのオープンソースではなかった。Llamaを説明するためのMetaの「オープンソース」という用語の使用は、Open Source Initiative（The Open Source Definitionを維持する組織）や他の組織によって異議を唱えられた。
Code Llamaは、コード固有のデータセットで微調整されたLlama 2であり、2023年8月24日に7B、13B、34Bパラメータのバージョンでリリースされ、70Bバージョンは2024年1月29日にリリースされた。Llama 2の基盤モデルから始めて、Meta AIは追加の500Bトークンのコードデータセットをトレーニングし、その後20Bトークンの長文脈データをトレーニングして、Code Llama基盤モデルを作成した。この基盤モデルはさらに5Bの指示追従トークンでトレーニングされ、指示微調整が作成された。Pythonコード用の別の基盤モデルも作成され、長文脈データの前に、Pythonのみのコードの100Bトークンでトレーニングされた。
2024年4月18日、MetaはLlama 3を8Bと70Bパラメータの2つのサイズでリリースした。モデルは「公開されているソース」から収集された約15兆トークンのテキストで事前トレーニングされ、指示モデルは「公開されている指示データセット、および1,000万を超える人間が注釈した例」で微調整された。Meta AIのテストでは、2024年4月の時点で、Llama 3 70BがほとんどのベンチマークでGemini Pro 1.5とClaude 3 Sonnetを上回っていた。Metaはまた、Llama 3を多言語対応かつマルチモーダルにし、コーディングと推論を改善し、コンテキストウィンドウを拡大する計画も発表した。
スケーリング則に関して、Llama 3モデルは、「Chinchilla最適」量を超えるデータでトレーニングされた場合、パフォーマンスが対数線形的にスケールし続けることを経験的に示した。たとえば、Llama 3 8BのChinchilla最適データセットは2,000億トークンであるが、パフォーマンスは15兆トークンの75倍のデータセットまで対数線形的にスケールし続けた。
Dwarkesh Patelとのインタビューで、Mark Zuckerbergは、Llama 3の8Bバージョンが最大のLlama 2とほぼ同等の性能であると述べた。以前のモデルと比較して、Zuckerbergは、チームが70Bモデルが15Tトークンのトレーニングの終了時でもまだ学習していることに驚いたと述べた。トレーニングを終了してGPUパワーを他の場所に集中させる決定が下された。
Llama 3のリリースと並行して、MetaはLlamaに基づいて構築されたAIアシスタントであるMeta AIを展開した。Meta AIには専用のウェブサイトがあり、FacebookとWhatsAppで利用できる。最新バージョンは2025年4月にリリースされたLlama 4である。2026年4月、Meta Superintelligence Labsは、Metaのさまざまなサービスでチャットボットを動かすLlamaの後継としてMuse Sparkをリリースした。
遺産
2023年のLLaMA流出は、オープンソースAIの歴史における極めて重要な瞬間として広く認識されている。これは、アクセス可能な大規模言語モデルへの需要を示し、Metaや他の組織の戦略に影響を与えた。流出はまた、強力なAIモデルの配布を制御することの課題を浮き彫りにし、このテーマはAIの安全性とガバナンスに関する政策議論を形成し続けている。
この出来事は、より広範な生成AIブームに貢献した。LLaMAの重みの利用可能性により、そうでなければ遅れていたであろう革新の波が可能になったからである。また、Llama 2やLlama 3などのその後のモデルのリリースの前例を設定し、これらは世界中の研究者や開発者にとって基盤となるツールとなっている。