Llama 2は、Meta AIが2023年7月に開発・公開した大規模言語モデル（LLM）のファミリーである。これは元のLlamaモデルの後継であり、前身よりもアクセスしやすく、商業利用が可能なように設計されている。Llama 2には、7、13、70億パラメータのモデルが含まれており、それぞれ基盤バージョンとチャットアプリケーション向けに微調整されたバージョンが用意されている。モデルは重み付きで公開されており、広範な利用が可能だが、特定のアプリケーションを制限するライセンスの下で提供されており、オープンソースと見なせるかどうかについて議論を引き起こしている。
Llama 2のアーキテクチャは、元のLlamaのものをほぼ踏襲しているが、トレーニングデータは40%増加した。この拡張は、さまざまな自然言語処理タスクにおけるパフォーマンスと汎化能力の向上を目的としていた。Llama 2の公開は、OpenAIやGoogle DeepMindなどの他のLLMプロバイダーと競争するためのMetaの戦略における重要な一歩であり、強力でありながらアクセスしやすい代替手段を提供するものだった。
背景
Llama 2の開発は、大規模言語モデルの急速な進歩を背景に行われた。特にGPT-3の公開と、その後のChatGPTの人気を受けて、これらのモデルはニューラルネットワークのスケールアップが能力の大幅な向上につながることを実証し、この分野への強い関心を呼び起こした。Metaの最高AI科学者であるYann LeCunは、LLMが特に文章作成支援に効果的であると指摘し、Llamaを創造的・専門的な文章作成タスクのためのツールとして位置づけた。
元のLlamaは2023年2月に公開され、当初は非商用ライセンスの下で研究者のみが利用可能だった。しかし、2023年3月にその重みがオンライン上に流出し、広範な非公式な配布が行われた。この流出は物議を醸したものの、アクセスしやすいLLMへの需要を浮き彫りにし、Metaがより寛容なライセンスでLlama 2を公開する決定に影響を与えた。
バージョン
初期リリース
Llamaの最初のバージョンは、しばしばLlama 1とも呼ばれ、2023年2月24日に発表された。これは公開データでトレーニングされ、1億から650億パラメータのサイズで提供された。13Bパラメータモデルは、多くのベンチマークでより大きなGPT-3を上回り、65BモデルはPaLMやChinchillaなどの最先端モデルと競合した。重みへのアクセスは学術研究者や産業研究所に制限されていたが、推論コードはオープンソースのGPLv3ライセンスの下で公開された。
#### 流出
2023年3月3日、Llamaの重みを含むトレントが4chanにアップロードされ、リンクはオンラインのAIコミュニティを通じて急速に広まった。MetaはHuggingFaceとGitHubに削除要請を提出したが、流出はすでに広範な利用を促進していた。コメンテーターはこの状況をStable Diffusionの公開と比較し、オープンアクセスが誤用の懸念にもかかわらず、革新とツール開発を促進する可能性があると示唆した。
Llama 2
Llama 2は2023年7月18日にMicrosoftとの提携で発表された。7B、13B、70Bパラメータの3つのサイズで公開された。アーキテクチャはLlama 1とほぼ同様だが、トレーニングデータは40%増加した。前身とは異なり、Llama 2の重みは商用利用が可能となり、利用ポリシーに従うことが条件となった。このポリシーは特定のアプリケーションを禁止しており、Open Source InitiativeはMetaによるLlamaのオープンソースという特徴づけに異議を唱えた。
Llama 2はまた、コード生成用に微調整された専門バージョンであるCode Llamaの基盤としても機能した。Code Llamaは2023年8月と2024年1月に公開され、7Bから70Bパラメータのバージョンがあり、追加のコード固有データセットでトレーニングされた。
Llama 3
2024年4月18日、Metaは8Bと70BパラメータサイズのLlama 3を公開した。これらのモデルは、約15兆トークンの公開テキストで事前トレーニングされ、1000万以上の人間が注釈した例で指示微調整が行われた。Llama 3 70Bは、多くのベンチマークでGemini Pro 1.5とClaude 3 Sonnetを上回った。これらのモデルは、Chinchilla最適量をはるかに超えるデータでトレーニングしてもパフォーマンスが向上し続けることを実証し、8Bモデルは15兆トークンまで対数線形スケーリングを示した。
Metaはまた、Llama 3を多言語・マルチモーダルにし、コンテキストウィンドウを拡大する計画を発表した。最新バージョンのLlama 4は2025年4月に公開され、2026年4月にはMeta Superintelligence LabsがLlamaの代替としてMuse Sparkを導入した。
影響と評価
Llama 2およびその後のバージョンの公開は、AIの状況に大きな影響を与えた。オープンな重みを提供することで、Metaは研究者や開発者が特定のアプリケーション向けにモデルを微調整できるようにし、ツールや派生モデルの活気あるエコシステムを育成した。しかし、ライセンス条件はオープンソースの定義に関する議論を引き起こし、批評家は利用ポリシーが自由を制限していると主張している。
Llamaモデルは学界と産業界の両方で広く採用されており、チャットボットからコード生成までさまざまなアプリケーションに利用されている。モデルのパフォーマンス、特にサイズに対する性能は、計算リソースが限られている組織にとって魅力的なものとなっている。2025年時点で、Llamaは最も著名なオープンウェイトLLMファミリーの1つであり続け、その後のモデルの開発に影響を与え、AIのアクセシビリティとガバナンスに関する議論を形成している。