Llama 2は、Meta AIがMicrosoftと提携して2023年7月18日に公開した、大規模言語モデル（LLM）のファミリーである。最初のバージョンのLlamaが非商用ライセンスの下で学術研究者に限定されていたのに対し、Llama 2はモデル重みと多くの商用利用を許可するライセンスとともに一般公開された。このリリースには、基盤モデルと指示調整済みのチャット版の両方が含まれ、パラメータ数は70億、130億、700億の3サイズが用意された。
Llama 2の発表は生成AIの分野における重要な出来事であり、GPT-3やChatGPTなどのプロプライエタリなモデルに対抗する、競争力のあるオープンウェイトの代替手段を提供した。また、Metaのライセンスには利用制限が含まれており、オープンソースの定義から逸脱していると主張する者もいたため、AIにおける「オープンソース」の意味についての議論を引き起こした。このリリースは、Meta自身のLlama 3や、Mistral AIやAI21 Labsなどの企業による他のモデルを含む、オープンウェイトモデリングのその後の発展に影響を与えた。
背景
Llama 2の開発は、大規模言語モデルの急速な進歩を背景に行われた。2020年のGPT-3のリリース後、研究者たちはモデルをより大きなサイズにスケーリングすることで、推論やコード生成などの能力が劇的に向上することが多いことを発見した。2022年11月のChatGPTの登場は、LLMを広く一般の観客に届け、これらのモデルを開発・改善するための業界全体の競争を引き起こした。
Metaの当初の対応は慎重だった。インタビューで、チーフAI科学者であるYann LeCunは、LLMは汎用の推論エンジンとしてではなく、文章作成の補助に最も適していると述べた。しかし、ChatGPTの成功と、2023年3月の最初のLlamaモデルのリークにより、Metaは戦略を再評価することになった。Llama 2をオープンにリリースすることで、Metaは競争しつつ、外部の開発者や研究者のエコシステムを育成することを目指した。
リリース発表
Metaは2023年7月18日に、ブログ投稿と「Llama 2: Open Foundation and Fine-Tuned Chat Models」という論文でLlama 2を発表した。このリリースにはMicrosoftとの提携が伴い、Llama 2はAzureクラウドプラットフォームとMicrosoftのWindowsオペレーティングシステムで利用可能になった。Metaはまた、責任ある利用ガイドと、他の大規模言語モデルの改善にモデルを使用しないなどの条件付きで商用利用を許可するコミュニティライセンスも提供した。
発表では、Llama 2が前身のLlama 1よりも40%多いデータでトレーニングされたこと、チャット版がChatGPTに使用されたものと同様の技術である人間のフィードバックからの強化学習（RLHF）を用いて微調整されたことが強調された。Metaは、700億パラメータのチャットモデルが一部のベンチマークでChatGPTを上回ったと報告したが、これらの主張は後に議論された。
モデルアーキテクチャとトレーニング
Llama 2はLlama 1と同じトランスフォーマーベースのアーキテクチャを維持しているが、トレーニングに調整が加えられている。モデルは同じトークナイザーとパラメータ数を使用するが、Llama 1の1.4兆トークンに対し、公開ウェブデータの2兆トークンでトレーニングされた。トレーニングデータには、英語のテキスト、コード、その他のソースの混合物が含まれていた。
3つのサイズ（70億、130億、700億）は、異なるハードウェアとユースケースに対応するために選択された。70億と130億のモデルはコンシューマー向けGPUで実行できるが、700億のモデルはより多くの計算リソースを必要とする。Metaはまた、ローカル推論を容易にするためのデバッグ版と量子化版もリリースした。
チャットの微調整には、Metaは多段階のプロセスを使用した。人間のデモンストレーションによる教師あり微調整、その後、近位ポリシー最適化を用いたRLHF、続いて拒否サンプリングである。同社はまた、有害なプロンプトを拒否するための安全対策をチャットモデルに実装したが、これらは常に効果的だったわけではない。
オープンライセンスと論争
Llama 2のライセンスは、学術研究者に限定されていたLlama 1からの前進として歓迎された。しかし、このライセンスは、オープンソースの公式定義を維持するオープンソースイニシアチブ（OSI）によって承認されなかった。OSIは、Llama 2を他のLLMの改善に使用することの制限や、大企業に対するユーザー制限が、分野利用の制限を禁止し、個人やグループに対する差別を禁止するオープンソースの原則に違反すると主張した。
MetaはLlama 2を「オープンソース」と表現し続け、この言葉が薄められていると感じる一部の開発者や研究者からの批判を招いた。この議論は、MetaのLlama 3や他のモデルが同様のライセンスを使用した後のリリースで激化した。
論争にもかかわらず、Llama 2の重みの利用可能性は、幅広いアプリケーションを可能にした。研究者は特定のドメイン向けにモデルを微調整でき、スタートアップは許容される利用ポリシーに準拠する限り、ライセンス料を支払うことなく商用製品を構築できた。
評価と影響
Llama 2への初期の反応は賛否両論だった。多くの人々は、Metaがより少ない制限で強力なモデルをリリースしたことを賞賛し、画像生成におけるStable Diffusionの影響と比較した。開発者はコーディング、チャット、その他の目的のための微調整を迅速に作成した。このモデルは、Hugging Face（提供されたスラグではないが）やAWS、Google Cloudなどのプラットフォームに統合された。
しかし、一部の批評家は、Llama 2のパフォーマンス、特に700億モデルが、GPT-4やPaLM 2などのプロプライエタリなモデルと常に一致するわけではないと指摘した。独立したベンチマークでは、Llama 2 700億が多くのタスクでGPT-3.5と競争力があるが、推論と事実性の点で最先端に遅れを取っていることが示された。
このリリースは、より広いAIコミュニティにも影響を与えた。Mistral AIなどの他の企業がオープンウェイトモデルをリリースするきっかけとなり、LLM展開の分散型エコシステムの成長に貢献した。さらに、Microsoft AzureでのLlama 2の利用可能性は、企業がオープンウェイトAIを採用しやすくした。
Llama 1および後継モデルとの比較
Llama 2は、いくつかの重要な点でLlama 1と異なっていた。商用利用が可能で、チャットの微調整が含まれ、より多くのデータでトレーニングされた。しかし、アーキテクチャはほぼ変更されておらず、一部の専門家は改善が革新的というより漸進的であると指摘した。
その後のリリースはLlama 2に基づいていた。2023年8月、Metaはコード生成に特化したLlama 2の微調整であるCode Llamaを、70億、130億、340億、700億のサイズでリリースした。2024年4月、MetaはLlama 3を導入し、80億と700億のサイズで、より大きなトレーニングデータセットを使用し、改善されたパフォーマンスを示した。Llama 3に続いて、2025年4月にLlama 4がリリースされ、MetaのAIアシスタントの一部となった。2026年までに、Meta Superintelligence Labsは後継としてMuse Sparkをリリースした。
遺産
Llama 2の遺産は、AIにおけるオープンウェイト運動の触媒としての役割にある。強力なモデルが安全制御を維持しながら広く共有できることを実証し、クローズドでAPIのみのモデルに対する実用的な代替手段を提供した。また、このモデルはAIにおけるオープンソースの定義に関する議論に影響を与え、この議論は分野が進化するにつれて続いている。
多くの開発者や研究者にとって、Llama 2は実験と革新のためのベースラインとなった。そのリリースは、大規模言語モデルを扱うための参入障壁を下げ、それなしでは存在しなかったかもしれない微調整やアプリケーションの波を可能にした。新しいモデルが登場しても、Llama 2はAI開発における開放性、能力、安全性のトレードオフを理解するための参照点であり続けた。