Llamaリークとオープンソース化とは、2023年3月にMeta AIのLLaMA（Large Language Model Meta AI）の重みがBitTorrent経由で無断配布されたことを指し、AIへのアクセス可能性における転換を促した。このリークにより、世界中の研究者や開発者がモデルを使用・改変できるようになり、オープンソースの派生モデルの急増につながり、Metaがその後のバージョンをより寛容なライセンスでリリースする決定にも影響を与えた。この出来事は、テキストから画像への領域におけるStable Diffusionのリリースとしばしば比較され、大規模言語モデルへのアクセスを民主化し、分野の革新を促進した。
Meta Platformsの子会社であるMeta AIは、2023年2月にLLaMAを、10億から2兆パラメータの範囲にわたる大規模言語モデルのファミリーとして発表した。当初、モデルの重みは非商用ライセンスの下で、学術研究者にケースバイケースでのみ提供されていた。リークはこれらの制限を回避し、重みを公開アクセス可能にし、オープンソースAIとその影響についての幅広い議論を促した。
背景
Llamaリーク以前、人工知能の分野はOpenAIなどの企業によるプロプライエタリなモデルが支配しており、OpenAIは2020年にGPT-3を、2022年11月にChatGPTをリリースしていた。ChatGPTの成功は大規模言語モデルの能力を浮き彫りにし、競争を激化させた。Metaの主任AI科学者であるYann LeCunは、大規模言語モデルは文章作成の補助に最も適していると公に述べ、Metaのアプローチを他のハイテク大手と差別化した。
LLaMAの開発は、MetaのMachine learningとDeep learningにおけるより広範な研究努力の一部であった。モデルは公開データで訓練され、効率性とアクセス可能性に焦点が当てられた。Metaは、消費者向けハードウェアで動作するモデルを作成することを目指し、GPT-3のような大きな計算リソースを必要とする大規模モデルよりもアクセスしやすくすることを目指した。
初期リリースとリーク
LLaMAは2023年2月24日に、ブログ投稿とそのアーキテクチャと性能を詳述した論文を通じて発表された。推論コードはオープンソースのGPLv3ライセンスでリリースされたが、モデルの重みは申請プロセスの背後にゲートされていた。Metaは、アクセスは学術研究者、政府、市民社会、産業研究機関にケースバイケースで付与されると述べた。
2023年3月3日、LLaMAの重みを含むトレントがアップロードされ、リンクは4chanの画像掲示板で共有され、その後オンラインのAIコミュニティを通じて広まった。同日、公式のLlamaリポジトリへのプルリクエストが、ドキュメントにマグネットリンクを追加するよう要求した。3月4日、別のプルリクエストがモデルをホストするHuggingFaceリポジトリへのリンクを追加した。Metaは3月6日に削除要請を提出し、配布を無断と特徴付け、HuggingFaceはこれに応じた。3月20日、Metaはダウンロードスクリプトを含むリポジトリに対してDMCA削除要請を提出し、GitHubは翌日に応じた。
リークへの反応は賛否両論だった。洗練されたスパムなどの悪意のある使用の可能性を懸念する声もあった。一方で、アクセス可能性を祝う声もあり、モデルの小規模版は比較的安価に実行でき、さらなる研究を促進すると指摘した。Simon Willisonなどのコメンテーターは、Llamaを、急速なツールの普及につながったオープンに配布されたテキストから画像へのモデルであるStable Diffusionと比較した。
Llama 2：オープン化
2023年7月18日、MetaはMicrosoftとの提携でLlama 2を発表した。このバージョンは70億、130億、700億パラメータの3つのサイズで提供された。アーキテクチャはLlama 1からほぼ変更されなかったが、訓練データは40%増加した。Llama 2には基盤モデルとチャット用に微調整されたバージョンの両方が含まれていた。オリジナルとは異なり、すべてのモデルは重み付きでリリースされ、商用利用が許可されたが、ライセンスには許容使用ポリシーが含まれており、Open Source Initiativeから「オープンソース」という用語をめぐる論争が生じた。
コード生成用にLlama 2を微調整したCode Llamaは、2023年8月24日に7B、13B、34Bサイズでリリースされ、2024年1月29日に70Bバージョンがリリースされた。訓練には追加の500Bトークンのコードデータと20Bトークンの長文脈データが含まれ、Python固有のバリアントは100BトークンのPythonコードで訓練された。
Llama 3とスケーリング則
2024年4月18日、Metaは8Bと70BのパラメータサイズでLlama 3をリリースした。モデルは約15兆トークンの公開テキストで事前訓練され、1000万以上の人間が注釈した例で指示微調整が行われた。Metaのテストでは、Llama 3 70BはほとんどのベンチマークでGemini Pro 1.5とClaude 3 Sonnetを上回った。Metaは多言語・マルチモーダル機能、より優れたコーディングと推論、より大きな文脈ウィンドウの計画を発表した。
Llama 3は、性能がChinchilla最適データ量を超えて対数線形にスケールし続けることを実証した。例えば、8Bモデルの最適データセットは2000億トークンだったが、性能は15兆トークンまで向上した。Mark Zuckerbergは、70Bモデルが訓練終了時点でもまだ学習中であり、停止の決定はGPUリソースを他の場所に割り当てるためだったと述べた。
Llama 3.1は2024年7月23日にリリースされ、さらなる改善が行われた。
影響と派生モデル
リークとその後のLlamaのオープンソース化は、派生モデルとツールの急増につながった。重みへのアクセス可能性により、研究者は特定のタスクのためにLlamaを微調整でき、Generative AIとLarge language modelアプリケーションの革新につながった。この出来事はMetaの戦略にも影響を与え、同社は各イテレーションでよりオープンなアプローチを受け入れた。
Stable Diffusionとの比較は適切である。両モデルは、オープンに配布されたとき、創造的な爆発を引き起こした。Llamaの場合、リークにより消費者向けハードウェアで動作する軽量モデルの開発が可能になり、以前は大企業に限定されていたAI機能へのアクセスが民主化された。
AIアクセス可能性への広範な影響
Llamaリークは、AI開発におけるプロプライエタリな管理とオープンアクセスの間の緊張を浮き彫りにした。Metaは当初アクセスを制限しようとしたが、リークはモデルの重みが一度リリースされると封じ込めることの難しさを示した。これは、OpenAIやAnthropicなど、さまざまな程度のオープン性を採用している他のAI企業にも影響を与える。
この出来事はまた、オープンソースAIをめぐる議論にも貢献し、支持者はオープンアクセスが革新と透明性を促進すると主張し、批判者は悪用の可能性を警告した。OpenPanelなどの組織は、バランスの取れた政策の必要性について意見を述べている。
遺産と未来
2025年現在、Metaは2025年4月にLlama 4をリリースし、オープンソース化の傾向を継続した。2026年4月、Meta Superintelligence LabsはLlamaの後継としてMuse Sparkをリリースし、新しい方向性を示した。LlamaリークはAI史における極めて重要な瞬間であり続け、コミュニティ主導の配布の力と高度な技術を制御する課題を示している。
リークの遺産は、mistralからFalconまで、Llamaの基盤の上に構築されたオープンソースモデルの繁栄するエコシステムに明らかである。この出来事はまた、政府や機関がAIにおける革新と安全性のバランスを検討する政策議論にも影響を与えた。
結論
Llamaリークとオープンソース化は、AIアクセス可能性における転換点を示し、制限された研究モデルを広く使用されるオープンリソースに変えた。この出来事はオープンソースAIの開発を加速し、技術の未来を形作る上でのコミュニティ参加の重要性を浮き彫りにした。AIが進化し続ける中、Llamaリークからの教訓は、モデルのリリースとガバナンスに関する将来の決定に情報を提供する可能性が高い。