Llama 2は、Meta AIが開発した大規模言語モデル（LLM）のファミリーであり、2023年7月18日にマイクロソフトとの提携で公開された。これは元のLlamaモデルの後継であり、基盤モデルと指示チューニングされたチャット版の両方を含む。前身とは異なり、Llama 2は許容使用ポリシーに従い、広範な商用利用のために重みが公開され、オープンソースAIエコシステムに大きな影響を与えた。
Llama 2モデルは、より広範なLarge language modelの状況の一部であり、Transformer (architecture)アーキテクチャとDeep learning技術の進歩に基づいている。この公開は、強力なAIへのアクセスを民主化する大きな一歩と見なされ、OpenAIやGoogle DeepMindなどの企業による独自モデルに対する競争力のある代替手段を提供した。
背景
2020年代初頭の大規模言語モデルの急速な進歩は、Llamaの舞台を整え、Generative AIツールの成功と密接に関連している。GPT-3の公開は、モデルサイズの拡大が能力の劇的な向上をもたらすことを実証した。2022年11月、OpenAIはChatGPTを発表し、広く注目を集め、AI研究と投資の急増を引き起こした。
MetaのAI研究部門であるMeta AIは、この分野で活発に活動しており、Google DeepMindなどの研究者によって開発されたTransformer (architecture)アーキテクチャなどの顕著な貢献があった。Metaの最高AI科学者であるヤン・ルカンは、大規模言語モデルに関する誇大広告に懐疑的な見解を公に示し、それらは文章作成タスクの支援に最も適していると述べ、実用的でアクセスしやすいAIへのMetaの焦点を反映した。
初期リリースとリーク
元のLlamaファミリー（Llama 1、LLaMAと表記）は、2023年2月24日にブログ投稿と技術論文を通じて発表された。10億から650億パラメータのサイズで提供され、公開データで訓練された。当初、モデルの重みは非商用ライセンスの下で、研究者のみにケースバイケースでアクセスが許可されていた。
しかし、重みはすぐにオンラインでリークされた。2023年3月、重みのトレントが4chanで共有され、急速に拡散した。Metaはモデルをホストするリポジトリに対してHuggingFaceとGitHubに削除要求を送ったが、リークにより広範な私的利用と研究が可能となった。多くの人々はこのリークをオープンAIの転換点と見なし、Stable Diffusionがイノベーションを加速したことに例えられた。
Llama 2の公開
2023年7月18日、マイクロソフトとの提携により、MetaはLlamaファミリーの次世代であるLlama 2を発表した。同社は7億、13億、70億パラメータの3つのサイズを公開した。また、Metaは基盤モデルと微調整されたバリアントの両方を公開した。具体的には、チャット用の微調整版は会話用途向けに設計された。
モデルは元のLlamaよりも40%多いデータでトレーニングされたが、アーキテクチャはほぼ変更されなかった。Llama 2モデルは、Residual Network (ResNet)ブロックとアテンション機構を使用し、Layer Normalizationやその他の革新の恩恵を受けた。指示チューニングにはRLAIFスタイルの技術が使用され、教師あり微調整と人間のフィードバックを組み合わせた。
商用利用とライセンス
Llama 2のリリースで最も注目すべき点は、多くの商用アプリケーションに対して重みを無料で提供する決定であった。Metaは、商用および研究目的での使用、複製、変更を許可するカスタムライセンスでモデルを公開したが、ポリシーで定義された一部のユースケースには制限がある。
許容使用ポリシーやその他の条件のため、多くの批評家は、Llama 2はオープンソースイニシアティブ（OSI）の基準では真のオープンソースではないと主張した。それでも、商用利用のために強力な言語モデルが利用可能になったことは画期的であり、小規模な組織や個人が有料APIに頼らずに技術を基盤として構築できるようにした。
マイクロソフトとの提携は注目に値し、リリースを同社のMicrosoft Azureインフラストラクチャと統合した。モデルはAzure AIモデルカタログで利用可能になったが、直接ダウンロードも可能であり、アクセシビリティが向上した。
モデルアーキテクチャとトレーニング
Llama 2は前身と類似したアーキテクチャを採用したが、スケーリングに調整が加えられた。モデルサイズは700億パラメータに達し、より複雑なパターンを捉えることが可能となった。トレーニングには、Webページ、書籍、その他の公開データを含む多様なソースが使用され、品質フィルタリングに重点が置かれた。
トレーニングプロセスの重要な側面は、Learning Rate SchedulingやModel Pruningなどの原則を用いたクロスエントロピー損失の最適化である。Metaはまた、DropoutやWeight Initializationなどの技術を取り入れて性能を向上させた。
7B、13B、70Bモデルが利用可能であり、70Bモデルは複数のGPUで実行するように設計されている。Llama 2は、GPT-3やChinchillaなどの現代のモデルと比較して評価され、推論やコーディングを含むさまざまなベンチマークタスクで競争力のある結果を達成した。
オープンソースAIエコシステムへの影響
Llama 2の商用アクセス付きリリースは、オープンソースAIエコシステムの成長を大幅に加速させた。これはプロプライエタリなモデルへの代替手段を提供し、開発者、研究者、スタートアップのコミュニティを育成した。AI21-LabsやInflection AIなどの多くの企業が、自社モデルの基盤としてLlama 2を使用した。
さらに、このリリースはAmazon Web Services、Google Cloud、Oracle Cloud Infrastructureなどのクラウドサービスへの統合を伴い、デプロイを容易にした。さらに、ハードウェアベンダーであるAMD、Intel、Qualcommは、Llamaを効率的に実行するためにチップを最適化した。
派生モデルとファインチューニング
Llama 2モデルは、さまざまな用途に頻繁にファインチューニングされた。注目すべき例として、コード特化データセットでファインチューニングされたCode Llamaがある。2023年8月24日に初めは7B、13B、34Bバージョンで公開され、後に2024年1月29日に70Bバージョンが公開された。Code Llamaは、基盤モデルに続いて、5000億トークンのコードデータでトレーニングされた。Generative AIコミュニティは、クリエイティブライティング、法的支援、医療アドバイスなどのモデルを含む、他の多くのファインチューンを生み出した。
モデルの重みへのアクセス可能性により、研究者はModel Pruning、Quantization、重みなどの技術を適用でき、小規模なAI企業や教育機関が技術を研究・適応することが可能になった。
反応と批判
Llama 2への反応は概ね肯定的だったが、懸念もあった。支持者は、AIの民主化とイノベーション促進の可能性を称賛し、GPT-3.5などの商用モデルと競争できると指摘した。しかし、一部の批評家は、ライセンス上の制限が定義上まだ完全に「オープン」ではないと指摘し、自由の範囲を制限していると述べた。
許容使用ポリシーは、監視、スパム、マルウェアなどの分野での応用を制限した。これは悪用を防ぐ努力として議論されたが、柔軟性も制限した。
一部の研究者はまた、Llama 2のような大規模モデルのトレーニングにおける環境的および資源的な懸念を指摘した。トレーニングには多大な計算能力が必要であり、倫理的および実用的な問題を提起した。
遺産と未来
Llama 2はオープンAIの新たな基準を打ち立て、2024年4月のLlama 3の後のリリースにつながった。このリリースは業界に永続的な影響を与え、主要な商用研究所がモデルの共有方法を再考するきっかけとなった。また、他の製品の基盤としてオープンAIコレクションの成長を促進した。
Llama 2の制限付きで重みを公開するアプローチは、他の開発者にも採用され、現在Llama 3を基盤とするMeta AIのようなAIアシスタントの構築に役立った。2025年後半時点で、Llamaはモデルのファミリーであり、新しいモデルの登場にもかかわらず、Llama 2は基礎的なマイルストーンであり続けている。
まとめ
要約すると、Meta Llama 2の発表は生成AIの進歩における重要な出来事であった。強力な性能と寛容な重みの提供を組み合わせることで、Metaの決定はオープンAIエコシステムの形成に貢献した。この出来事は、商用AIへの関心を高めた要因の一つとしてしばしば引用される。
公開時点で、Llama 2は他のAIモデルのより制限的な慣行からの脱却を示し、その影響は広範囲に及んだ。