Llama 2 est une famille de grands modèles de langage (LLM) développée et publiée par Meta AI en juillet 2023. Elle succède au modèle Llama original et est conçue pour être plus accessible et plus utilisable commercialement que son prédécesseur. Llama 2 comprend des modèles de 7, 13 et 70 milliards de paramètres, chacun disponible en version de base et en version affinée pour les applications de chat. Les modèles sont publiés avec leurs poids, ce qui permet une large utilisation, mais sous une licence qui restreint certaines applications, ce qui suscite un débat sur leur qualification de logiciel open source.
L'architecture de Llama 2 reprend en grande partie celle du Llama original, mais les données d'entraînement ont été augmentées de 40 %. Cette expansion visait à améliorer les performances et la généralisation sur diverses tâches de traitement du langage naturel. La publication de Llama 2 a marqué une étape importante dans la stratégie de Meta pour concurrencer d'autres fournisseurs de LLM, tels que OpenAI et Google DeepMind, en offrant une alternative puissante mais accessible.
Contexte
Le développement de Llama 2 s'est déroulé dans un contexte de progrès rapides des grands modèles de langage, en particulier après la publication de GPT-3 et la popularité qui a suivi pour ChatGPT. Ces modèles ont démontré que l'augmentation de l'échelle des réseaux de neurones pouvait conduire à des améliorations significatives des capacités, suscitant un vif intérêt dans le domaine. Le scientifique en chef de l'IA de Meta, Yann LeCun, a noté que les LLM sont particulièrement efficaces pour l'aide à l'écriture, positionnant Llama comme un outil pour les tâches d'écriture créative et professionnelle.
Le Llama original, publié en février 2023, n'était initialement disponible que pour les chercheurs sous une licence non commerciale. Cependant, ses poids ont été divulgués en ligne en mars 2023, entraînant une large distribution non officielle. Cette fuite, bien que controversée, a également mis en évidence la demande de LLM accessibles et a influencé la décision de Meta de publier Llama 2 avec une licence plus permissive.
Versions
Première version
La première version de Llama, parfois appelée Llama 1, a été annoncée le 24 février 2023. Elle a été entraînée sur des données publiquement disponibles et déclinée en tailles allant de 1 milliard à 65 milliards de paramètres. Le modèle de 13 milliards de paramètres a surpassé le GPT-3, pourtant beaucoup plus grand, sur de nombreux benchmarks, tandis que le modèle de 65 milliards était compétitif avec des modèles de pointe comme PaLM et Chinchilla. L'accès aux poids était limité aux chercheurs académiques et aux laboratoires industriels, mais le code d'inférence a été publié sous la licence open source GPLv3.
#### Fuite
Le 3 mars 2023, un torrent contenant les poids de Llama a été téléchargé sur 4chan, et les liens se sont rapidement répandus dans les communautés d'IA en ligne. Meta a déposé des demandes de retrait auprès de HuggingFace et GitHub, mais la fuite avait déjà facilité une utilisation généralisée. Les commentateurs ont comparé la situation à la publication de Stable Diffusion, suggérant que l'accès ouvert pourrait stimuler l'innovation et le développement d'outils, malgré les inquiétudes concernant les mauvais usages.
Llama 2
Llama 2 a été annoncée le 18 juillet 2023, en partenariat avec Microsoft. Elle a été publiée en trois tailles : 7B, 13B et 70B paramètres. L'architecture est restée similaire à celle de Llama 1, mais les données d'entraînement ont été augmentées de 40 %. Contrairement à son prédécesseur, les poids de Llama 2 ont été rendus disponibles pour un usage commercial, sous réserve d'une politique d'utilisation acceptable. Cette politique interdit certaines applications, ce qui a conduit l'Open Source Initiative à contester la caractérisation de Llama comme open source par Meta.
Llama 2 a également servi de base à Code Llama, une version spécialisée affinée pour la génération de code. Code Llama a été publié en août 2023 et janvier 2024, avec des versions allant de 7B à 70B paramètres, entraînées sur des ensembles de données supplémentaires spécifiques au code.
Llama 3
Le 18 avril 2024, Meta a publié Llama 3 avec des tailles de 8B et 70B paramètres. Ces modèles ont été pré-entraînés sur environ 15 billions de jetons de texte publiquement disponible, avec un affinage par instructions sur plus de 10 millions d'exemples annotés par des humains. Llama 3 70B a surpassé Gemini Pro 1.5 et Claude 3 Sonnet sur de nombreux benchmarks. Les modèles ont démontré que les performances continuent de s'améliorer même lorsqu'ils sont entraînés sur des données bien au-delà de la quantité optimale selon Chinchilla, le modèle 8B montrant une mise à l'échelle log-linéaire jusqu'à 15 billions de jetons.
Meta a également annoncé son intention de rendre Llama 3 multilingue et multimodal, et d'augmenter sa fenêtre de contexte. La dernière version, Llama 4, a été publiée en avril 2025, et en avril 2026, Meta Superintelligence Labs a présenté Muse Spark comme remplaçant de Llama.
Impact et réception
La publication de Llama 2 et des versions suivantes a eu un impact significatif sur le paysage de l'IA. En fournissant des poids ouverts, Meta a permis aux chercheurs et aux développeurs d'affiner les modèles pour des applications spécifiques, favorisant un écosystème dynamique d'outils et de dérivés. Cependant, les conditions de licence ont suscité des débats sur la définition de l'open source, les critiques arguant que la politique d'utilisation acceptable restreint la liberté.
Les modèles Llama ont été largement adoptés dans le monde universitaire et l'industrie, avec des applications allant des chatbots à la génération de code. Les performances des modèles, notamment par rapport à leur taille, les ont rendus attractifs pour les organisations disposant de ressources informatiques limitées. En 2025, Llama reste l'une des familles de LLM à poids ouverts les plus importantes, influençant le développement de modèles ultérieurs et façonnant les discussions sur l'accessibilité et la gouvernance de l'IA.