LLaMA 1（Large Language Model Meta AI）は、Metaの大規模言語モデルファミリーにおける最初のリリースであり、2023年2月24日に発表された。このモデルは基盤モデルとして設計され、公開データのみで訓練され、パラメータサイズは70億から650億の範囲で提供された。そのリリースは大規模言語モデルの状況における重要な転換を示し、はるかに大規模な専有システムに対して競争力のある性能を発揮しつつ、研究目的でのアクセスがより容易であることを実証した。
LLaMA 1の初期配布は、非商用ライセンスの下で学術研究者と産業研究所に限定され、アクセスはケースバイケースで許可された。しかし、発表から数週間以内に、モデルの重みがオンラインで流出し、広範な無許可配布が発生し、AIシステムへのオープンアクセスに関する議論を引き起こした。
背景と文脈
LLaMA 1の開発は、OpenAIのGPT-3のリリースとその後のChatGPTの立ち上げに続く、大規模言語モデルへの関心が高まった時期に行われた。これらのシステムの成功は、特に自然言語処理において支配的なアプローチとなっていたトランスフォーマーアーキテクチャのスケーリングの可能性を浮き彫りにした。
MetaのチーフAI科学者であるYann LeCunは、大規模言語モデルを特に文章作成タスクの支援に有用と位置づけ、より広範な能力を強調する競合他社とは異なるアプローチを取った。同社は、より少ない計算リソースで動作する効率的なモデルを作成し、限られた計算能力しか持たない学術機関でも高度なAI研究へのアクセスを容易にすることを目指した。
初期リリースとアーキテクチャ
LLaMAの最初のバージョンは、ブログ投稿とそれに付随する研究論文を通じて発表され、訓練方法、アーキテクチャ、性能特性が記述された。推論コードはオープンソースのGPLv3ライセンスでリリースされた一方、モデルの重みは申請プロセスの背後にゲートされた。このハイブリッドなアプローチは、研究の透明性と潜在的な悪用への懸念のバランスを取ることを意図していた。
MetaはLLaMA 1を複数のスケールで訓練し、130億パラメータ版はほとんどのNLPベンチマークでGPT-3（1750億パラメータ）を上回る性能を発揮した。最大の650億パラメータモデルは、PaLMやChinchillaなどの最先端システムと競争力のある結果を達成した。訓練データは完全に公開ソースで構成され、モデルはより大規模な対応物よりも計算効率が高くなるように設計された。
流出とその余波
2023年3月3日、LLaMAの重みを含むトレントが4chanの画像掲示板にアップロードされ共有され、リンクはその後オンラインのAIコミュニティを通じて拡散した。数日以内に、公式LLaMAリポジトリにマグネットリンクとHuggingFaceリポジトリ参照を追加するプルリクエストが開かれた。Metaは3月6日に削除要請を提出し、配布を無許可と特徴づけ、HuggingFaceは要請に応じた。
3月20日、MetaはミラーからLLaMAをダウンロードするスクリプトを含むリポジトリに対してDMCA削除要請を提出し、GitHubは翌日に応じた。これらの努力にもかかわらず、モデルはさまざまなミラーサイトやトレントネットワークを通じて広くアクセス可能なままであった。
流出への反応は分かれた。一部のコメンテーターは、洗練されたスパム生成などの潜在的な悪意のあるアプリケーションへの懸念を表明した。他の人々はアクセス性の向上を祝し、モデルの小規模版が比較的安価に実行でき、研究とイノベーションを加速する可能性があると指摘した。Simon Willisonや他のコメンテーターは、同様にツールと技術の急速な普及を引き起こしたオープンに配布されたテキストから画像へのモデルであるStable Diffusionとの比較を引き出した。
遺産と影響
LLaMA 1のリリースとその後の流出は、AIエコシステムに永続的な影響を与えた。これは、大規模言語モデルが大手テック企業の外部で効果的に配布できることを実証し、そのようなシステムが大規模な計算インフラを必要とするという前提に挑戦した。モデルのアーキテクチャと訓練アプローチは、その後のオープンウェイトモデルに影響を与え、成長するオープンソースAI運動に貢献した。
LLaMA 1での経験は、その後のリリースに対するMetaのアプローチを形成した。2023年7月18日にMicrosoftとの提携でリリースされたLlama 2は、基盤モデルと指示調整モデルの両方を含み、より広範な商用ライセンスを提供した。Llama 3は2024年4月18日に続き、15兆トークンで訓練されたモデルと改善された性能を備えた。系統は2025年4月のLlama 4で続き、Meta Superintelligence Labsは2026年4月にMuse Sparkを代替としてリリースした。
LLaMA 1の遺産は、比較的控えめなパラメータ数と公開データで競争力のある大規模言語モデルを構築できることを実証したこと、そしてリリースされた強力なAIシステムへのアクセス制御の課題を浮き彫りにしたことにある。