Llamaリークとは、2023年3月にMeta AIのLLaMA（Large Language Model Meta AI）モデルの重みが不正に配布された出来事を指す。この出来事は大規模言語モデルの開発における転換点となり、Metaの管理されたアクセス方針を迂回し、BitTorrentやHuggingFaceを通じて重みを一般公開した。リークは、悪用への当初の懸念にもかかわらず、より広範な開発者や研究者のコミュニティがモデルを実験し、基盤として構築することを可能にし、オープンソースAI研究を加速させた。
リークは、Metaが2023年2月24日にLLaMAを10億から650億パラメータのファミリーの基盤モデルとして発表した直後に発生した。OpenAIのGPT-3のような同時代のモデルがクローズドであったのに対し、LLaMAの重みは非商用ライセンスの下で学術研究者向けに意図されていた。リークはアクセスを民主化し、微調整されたバリアントやツールの急増をもたらし、Metaがその後によりオープンに公開したLlama 2やLlama 3のリリースに影響を与えた。
背景
2020年代初頭、OpenAIのChatGPTが2022年11月にリリースされた後、人工知能の分野で関心が急増した。これにより、テック企業間でより強力な大規模言語モデルを開発する競争が勃発した。Metaは、AI研究部門であるMeta AIの下で、オープンリサーチの戦略を追求したが、モデルへのアクセスには制限があった。Metaの最高AI科学者であるYann LeCunは、この誇大広告に懐疑的であり、大規模言語モデルは人間レベルの知能を達成するためではなく、文章作成を支援するのに最適であると述べた。
LLaMAプロジェクトは、GPT-3（1750億パラメータ）のようなモデルの巨大な規模とは対照的に、消費者向けハードウェアで動作する効率的なモデルを作成することを目的としていた。MetaはLLaMAを公開データで訓練し、トランスフォーマーアーキテクチャを使用し、推論コードをオープンソースライセンスでリリースしたが、重みはゲート付きに保った。
初期リリースとリーク
2023年2月24日、Meta AIはブログ投稿と、その訓練と性能を詳述した論文を通じてLLaMAを発表した。モデルは7B、13B、33B、65Bパラメータのサイズで提供された。Metaは、13Bモデルが多くのNLPベンチマークでGPT-3を上回り、65BモデルがPaLMやChinchillaのような最先端モデルと競争力があると報告した。重みへのアクセスは、学術研究者、政府、市民社会、産業研究ラボにケースバイケースで付与された。
2023年3月3日、重みを含むトレントがアップロードされ、リンクは4chanで共有され、オンラインAIコミュニティで急速に広まった。同日、公式LLaMAリポジトリへのプルリクエストが、マグネットリンクをドキュメントに追加するよう要求した。3月4日、別のプルリクエストがモデルをホストするHuggingFaceリポジトリへのリンクを追加した。Metaはこれに対応し、3月6日にHuggingFaceに削除要求を提出し、配布を不正と特徴付け、HuggingFaceはこれに応じた。3月20日、Metaはダウンロードスクリプトを含むGitHubリポジトリに対してDMCA削除要求を提出し、翌日に削除された。
リークは賛否両論の反応を引き起こした。一部は、洗練されたスパムや偽情報などの悪意のある使用を懸念した。他方では、小規模なモデルが控えめなハードウェアで動作し、研究と革新を促進できるとして、アクセシビリティを祝った。Simon Willisonのようなコメンテーターは、LLaMAを、急速なエコシステム成長を促進したオープンなテキストから画像へのモデルであるStable Diffusionと比較した。リークは事実上、Metaにリリース戦略を再考させることを強いた。
Llama 2
2023年7月18日、MetaはMicrosoftと提携して、次世代のLlama 2を発表した。Llama 2は7B、13B、70Bパラメータの3つのサイズでリリースされた。アーキテクチャはLlama 1からほぼ変更されていなかったが、訓練データは40%増加した。オリジナルとは異なり、Llama 2は基盤モデルとチャット用の命令微調整バージョンの両方を含んでいた。すべてのモデルは重み付きでリリースされ、許容使用ポリシーに従うことを条件に商用利用が許可された。ただし、このライセンスはOpen Source Initiativeによって承認されておらず、Llama 2がオープンソースと呼べるかどうかについて論争が生じた。
Llama 2のリリースは、リークに部分的に影響された、よりオープンな配布へのシフトを示した。これにより、微調整されたモデルや商用アプリケーションの波が可能になった。Metaはまた、コード生成用のLlama 2の微調整であるCode Llamaをリリースし、2023年8月24日（7B、13B、34B）と2024年1月29日（70B）にバージョンを提供した。
Llama 3
2024年4月18日、Metaは8Bと70BパラメータサイズのLlama 3をリリースした。これらのモデルは、約15兆トークンの公開テキストで事前訓練され、1000万以上の人間が注釈した例で命令微調整された。Metaのベンチマークは、Llama 3 70Bが多くのタスクでGemini Pro 1.5やClaude 3 Sonnetを上回ることを示した。Metaは、多言語およびマルチモーダル機能、より長いコンテキストウィンドウ、改善されたコーディングと推論の計画を発表した。
Llama 3は、Chinchilla最適な訓練データ量を超えても性能が対数線形的にスケールし続けることを実証した。例えば、8BモデルのChinchilla最適データセットは2000億トークンであったが、性能は15兆トークンまで向上した。インタビュー中、Mark Zuckerbergは、8Bモデルが最大のLlama 2とほぼ同等の力を持ち、70Bモデルは訓練終了時にもまだ学習中であったが、GPUリソースを他に割り当てるために訓練が停止されたと述べた。
Llama 3.1は2024年7月23日にリリースされ、405Bパラメータモデルを含むさらなる改善が加えられ、オープンウェイトリリースのトレンドを継続した。
オープンソースAIへの影響
LlamaリークはオープンソースAI運動を触媒した。リーク前は、最先端のLLMへのアクセスは主に少数の組織に限定されていた。リークにより、独立した研究者や愛好家がローカルでモデルを実行し微調整できるようになり、モデルプルーニング、データ拡張、効率的な推論における革新につながった。また、HuggingFaceリポジトリやllama.cppのようなCPUベースの推論を可能にするツールなど、オープンソースエコシステムの作成を促進した。
リークはまた、Llama 2やLlama 3で見られるように、Metaがその後のバージョンでより寛容なライセンスを採用することを圧力として強いた。このシフトは、Mistral AIのような他の企業がオープンウェイトモデルをリリースするように影響を与えた。しかし、AIにおける「オープンソース」の構成要素に関する議論は続き、Open Source Initiativeのような組織は、使用と再配布の制限がオープンソース定義に違反すると主張した。
反応と論争
リークへの反応は二極化した。セキュリティ専門家は、フィッシングメールや偽情報の生成などの潜在的な悪用を警告した。一部の研究者は、AIの民主化を祝し、そうでなければ不可能な実験を可能にした。リークはまた、強力なモデルをリリースすることの倫理について疑問を提起し、責任あるAI開発に関する議論につながった。
Metaのリークへの対応は当初法的なものであったが、同社は最終的にオープン性を受け入れた。2024年までに、MetaはLlamaを、OpenAIやGoogle DeepMindのクローズドモデルと競争する主要なオープンウェイトモデルファミリーとして位置付けた。リークはまた、重みが一度公開されると完全に撤回できないため、デジタル配布の制御の難しさを浮き彫りにした。
遺産
LlamaリークはAI史上の極めて重要な出来事と見なされている。オープンソースLLMの開発を加速させ、多様なモデルとアプリケーションのエコシステムにつながった。また、AI規制とオープン性と安全性のバランスに関する政策議論にも影響を与えた。2025年現在、Llamaモデルは研究と産業で広く使用されており、Metaは2025年4月のLlama 4を含む新しいバージョンをリリースし続けている。2026年4月、Meta Superintelligence LabsはLlamaの代替としてMuse Sparkをリリースし、MetaのAIの旅の次の章を刻んだ。
リークは、オープンアクセスが革新を促進できるが、潜在的な害の慎重な考慮も必要であることを実証した。これは、デジタル時代におけるAI技術のガバナンスの課題に関するケーススタディとして残っている。