LLaMA（Large Language Model Meta AI）は、Meta AIによって開発された大規模言語モデルのファミリーであり、2023年2月に初めて公開された。モデルの規模は10億から2兆以上のパラメータに及び、Llama 2、Llama 3、Llama 4など様々なバージョンがリリースされている。当初は基盤モデルであったが、後のバージョンでは指示調整済みの変種が含まれ、モデルは一部の商用利用を許可するライセンスの下で提供されているが、完全なオープンソースではない。
LLaMAの公開は、生成AIの民主化における重要な一歩を示すものであり、OpenAIのGPTシリーズのようなプロプライエタリなモデルに代わる強力な選択肢を提供した。そのオープンな配布、特に最初のバージョンの不正なリーク後は、AIコミュニティにおける研究開発の波を促進した。
背景
GPT-3のようなモデルの公開に続き、AI研究コミュニティはモデルのスケールアップに焦点を当て、それが創発的な能力につながった。2022年末のChatGPTの立ち上げは、大規模言語モデルへの関心を一層高めた。Metaの最高AI科学者であるYann LeCunは、大規模言語モデルが文章作成タスクの支援に特に有用であると指摘し、LLaMAをそのような用途のツールとして位置づけた。
初期公開とリーク
LLaMAの最初のバージョンは、2023年2月24日にブログ投稿と、そのトレーニング、アーキテクチャ、性能を詳述した論文を通じて発表された。推論コードはオープンソースのGPLv3ライセンスの下で公開されたが、モデルの重みへのアクセスは、学術研究者や産業研究所にケースバイケースで制限された。Metaは、公開データを用いて7Bから65Bパラメータの様々なサイズのモデルをトレーニングし、異なるハードウェアでアクセス可能にすることを目指した。
2023年3月3日、LLaMAの重みを含むトレントが4chanにアップロードされ、そのリンクはオンラインのAIコミュニティを通じて広まった。この不正なリークは広範な入手可能性をもたらし、MetaはHuggingFaceのリポジトリやGitHubのスクリプトに対して削除要求を提出した。反応は様々で、悪用を懸念する声がある一方で、Stable Diffusionのオープン公開が革新を加速させたように、そのアクセシビリティを称賛する声もあった。
Llama 2
2023年7月18日、MetaはMicrosoftとの提携でLlama 2を発表し、70億、130億、700億パラメータのモデルを公開した。アーキテクチャはLlama 1からほぼ変更されなかったが、トレーニングデータは40%増加した。Llama 2には基盤モデルとチャット調整済みモデルの両方が含まれ、重みは多くの商用用途で公開されたが、ライセンスの許容使用ポリシーにより完全なオープンソースではなかった。コード用の微調整モデルであるCode Llamaは、2023年8月と2024年1月に公開された。
Llama 3とその後
2024年4月18日、Metaは約15兆トークンで事前トレーニングされた8Bおよび70BパラメータサイズのLlama 3を公開した。これらのモデルは強い性能を示し、多くのベンチマークでGemini Pro 1.5やClaude 3 Sonnetを上回った。Metaはまた、多言語およびマルチモーダル機能の計画を発表した。Llama 3.1は2024年7月23日に続き、Llama 4は2025年4月に公開された。2026年4月、Meta Superintelligence LabsはLlamaの後継としてMuse Sparkを導入した。
影響と評価
LLaMAファミリーはAIエコシステムに多大な影響を与え、研究者や開発者が強力なオープンモデルを基盤に構築することを可能にした。その公開は、オープンソースライセンスやモデル配布の倫理に関する議論を引き起こす一方で、活気あるツールやアプリケーションのコミュニティを育成した。