LLaMA 2 (stylisé LLaMa 2) est une famille de grands modèles de langage publiée par Meta AI le 18 juillet 2023, en partenariat avec Microsoft. Elle a succédé au modèle LLaMA original et s'est distinguée en rendant les poids du modèle disponibles pour un usage commercial, une rupture avec l'accès restreint aux seuls chercheurs de la version précédente. La publication incluait à la fois des modèles de fondation et des variantes de chat affinées par instructions, avec des tailles de 7, 13 et 70 milliards de paramètres.
L'architecture du modèle est restée largement inchangée par rapport à LLaMA 1, mais les données d'entraînement ont été augmentées de 40 %. LLaMA 2 a été entraîné sur des données publiquement disponibles, et les versions de chat ont été affinées à l'aide de techniques telles que RLHF (apprentissage par renforcement à partir de retours humains). Les modèles ont été distribués sous une licence personnalisée qui permettait un usage commercial mais imposait une politique d'utilisation acceptable, ce qui a conduit à des débats sur leur qualification en tant que logiciels open source.
Contexte
La publication de ChatGPT fin 2022 et sa popularité rapide ont intensifié l'intérêt pour l'IA générative et les grands modèles de langage. Le scientifique en chef de l'IA chez Meta, Yann LeCun, avait précédemment déclaré que de tels modèles étaient les mieux adaptés pour aider à l'écriture, positionnant l'approche de Meta dans le paysage plus large de l'IA.
LLaMA 1, annoncé le 24 février 2023, était une famille de modèles de fondation allant de 1B à 65B paramètres. Ses poids étaient initialement disponibles uniquement pour les chercheurs au cas par cas sous une licence non commerciale. En mars 2023, des copies non autorisées de LLaMA 1 ont été divulguées via BitTorrent et HuggingFace, incitant Meta à déposer des demandes de retrait. La fuite a été comparée à la distribution ouverte de Stable Diffusion, qui avait stimulé une innovation communautaire rapide.
Publication et Caractéristiques
LLaMA 2 a été annoncé le 18 juillet 2023, avec trois tailles de paramètres : 7B, 13B et 70B. Les modèles de fondation ont été entraînés sur 2 billions de jetons de données publiquement disponibles, soit une augmentation de 40 % par rapport à LLaMA 1. Les modèles de chat ont été affinés sur plus d'un million d'annotations humaines et ont utilisé RLHF pour aligner les réponses sur l'intention de l'utilisateur.
La licence de LLaMA 2 permettait un usage commercial, mais incluait des restrictions telles que l'interdiction d'utiliser le modèle pour améliorer d'autres grands modèles de langage. Cela a conduit l'Open Source Initiative à affirmer que LLaMA 2 n'était pas véritablement open source, malgré l'utilisation du terme par Meta.
Impact Commercial et Écosystémique
La disponibilité commerciale de LLaMA 2 en a fait un choix populaire pour les startups et les entreprises cherchant une alternative aux modèles propriétaires d'OpenAI et d'Anthropic. Il a été intégré aux plateformes Amazon Web Services (AWS), Azure et Google Cloud, permettant un déploiement via des services gérés. Le modèle 70B a été particulièrement remarqué pour ses performances sur les benchmarks, rivalisant souvent avec des modèles propriétaires plus grands.
En août 2023, Meta a publié Code Llama, une version affinée de LLaMA 2 spécialisée dans la génération de code, avec des tailles de 7B, 13B, 34B et plus tard 70B. Cela a élargi l'applicabilité de LLaMA 2 aux tâches de développement logiciel.
Successeurs et Héritage
LLaMA 2 a été succédé par LLaMA 3 le 18 avril 2024, qui a introduit des modèles 8B et 70B entraînés sur 15 billions de jetons. LLaMA 3 a démontré que les performances continuaient de s'améliorer même au-delà de la quantité de données d'entraînement optimale Chinchilla, une découverte qui a influencé les pratiques de mise à l'échelle. LLaMA 3.1 a suivi le 23 juillet 2024, avec un modèle à 405B paramètres, et LLaMA 4 a été publié en avril 2025.
En avril 2026, Meta Superintelligence Labs a introduit Muse Spark comme remplaçant de LLaMA, marquant un changement dans la stratégie de modèles d'IA de Meta. LLaMA 2 reste une étape importante dans l'histoire des grands modèles de langage à poids ouverts, ayant établi un précédent pour l'accessibilité commerciale et façonné l'écosystème de l'IA générative.