Llama (stylisé LLaMA, avec « Large Language Model Meta AI » comme rétroacronyme) est une famille de grands modèles de langage (LLM) développée par Meta AI, publiée pour la première fois en février 2023. Les modèles varient en taille de 1 milliard à 2 billions de paramètres. Initialement, la première version était un modèle de fondation disponible uniquement aux chercheurs sous une licence non commerciale, mais à partir de Llama 2, Meta a publié des versions affinées par instructions aux côtés des modèles de fondation, avec une licence plus large. La fuite non autorisée des poids du premier modèle en mars 2023 via BitTorrent a considérablement accéléré la prolifération des dérivés et outils LLM open source.
Les modèles Llama sont basés sur l'architecture Transformer (architecture), similaire à d'autres LLM contemporains. Ils ont été publiés en plusieurs versions, chacune introduisant des améliorations en termes d'échelle, de données d'entraînement et de capacités. En 2025, la dernière version est Llama 4, publiée en avril 2025, et Meta a également intégré Llama dans son assistant Meta AI.
Contexte
Après la publication de modèles de langage plus anciens comme GPT-3, un axe de recherche majeur était la mise à l'échelle des modèles, ce qui a conduit dans certains cas à des gains significatifs en capacités émergentes. Le lancement de ChatGPT fin 2022 et son succès inattendu ont considérablement accru l'attention publique et industrielle sur les LLM. En réponse, le scientifique en chef de l'IA de Meta, Yann LeCun, a commenté que les grands modèles de langage sont les mieux adaptés pour aider à l'écriture, reflétant une position prudente par rapport au déploiement agressif d'autres entreprises technologiques.
Première publication
La première version de Llama (parfois appelée Llama 1) a été annoncée le 24 février 2023, via un article de blog et un document détaillant son entraînement, son architecture et ses performances. Le code d'inférence a été publié sous la licence open source GPLv3, mais l'accès aux poids du modèle était conditionné par un processus de demande, avec un accès accordé au cas par cas aux chercheurs académiques, aux gouvernements, à la société civile et aux laboratoires de recherche industrielle. Le modèle a été entraîné exclusivement sur des données publiquement disponibles, avec diverses tailles de modèles (7B, 13B, 33B et 65B paramètres) pour s'adapter à différentes capacités matérielles. C'était un modèle de fondation uniquement, bien que le document incluait des exemples d'affinage par instructions.
Meta a rapporté que le modèle à 13B paramètres surpassait le GPT-3 beaucoup plus grand (175B paramètres) sur la plupart des références NLP, et que le plus grand modèle à 65B était compétitif avec des modèles de pointe comme PaLM et Chinchilla.
Fuite et conséquences
Le 3 mars 2023, un torrent contenant les poids de Llama a été téléchargé, avec un lien partagé sur le forum 4chan et ensuite diffusé dans les communautés IA en ligne. Le même jour, une demande de tirage sur le dépôt officiel de Llama demandait d'ajouter le lien magnétique à la documentation. Le 4 mars, une autre demande de tirage ajoutait des liens vers des dépôts HuggingFace hébergeant le modèle. Meta a déposé des demandes de retrait le 6 mars, qualifiant la distribution de non autorisée, et HuggingFace a obtempéré. Le 20 mars, Meta a déposé une demande de retrait DMCA contre un dépôt contenant un script pour télécharger Llama depuis un miroir, et GitHub a obtempéré le lendemain.
Les réactions à la fuite ont été mitigées. Certains ont spéculé que le modèle pourrait être utilisé à des fins malveillantes, comme du spam plus sophistiqué. D'autres ont célébré l'accessibilité, notant que les versions plus petites pouvaient fonctionner relativement à moindre coût, favorisant potentiellement davantage de recherche. Des commentateurs comme Simon Willison ont comparé Llama à Stable Diffusion, un modèle texte-image distribué ouvertement qui a stimulé un développement rapide d'outils, suggérant un effet similaire pour les LLM.
Llama 2
Le 18 juillet 2023, en partenariat avec Microsoft, Meta a annoncé Llama 2, la génération suivante, avec des tailles de modèles de 7B, 13B et 70B paramètres. L'architecture est restée largement inchangée par rapport à Llama 1, mais l'entraînement a utilisé 40 % de données supplémentaires. Llama 2 incluait à la fois des modèles de fondation et des modèles affinés par chat, et tous les poids ont été publiés pour de nombreux usages commerciaux. Cependant, parce que la licence inclut une politique d'utilisation acceptable, elle n'est pas considérée comme open source par l'Open Source Initiative, et l'utilisation du terme par Meta a été contestée.
Code Llama, un affinage de Llama 2 sur des ensembles de données spécifiques au code, a été publié en versions : 7B, 13B et 34B le 24 août 2023, et une version 70B le 29 janvier 2024. Les modèles de fondation ont été entraînés sur 500B tokens supplémentaires de données de code, puis 20B tokens de données à contexte long, avec un affinage supplémentaire par instructions sur 5B tokens. Un modèle spécifique à Python a été entraîné sur 100B tokens de code Python.
Llama 3
Le 18 avril 2024, Meta a publié Llama 3 en deux tailles : 8B et 70B paramètres. Les modèles ont été pré-entraînés sur environ 15 billions de tokens provenant de sources publiquement disponibles, avec des modèles instruct affinés sur des ensembles de données d'instructions publiques et plus de 10 millions d'exemples annotés par des humains. Les tests de Meta ont montré que Llama 3 70B surpassait Gemini Pro 1.5 et Claude 3 Sonnet sur la plupart des références. Meta a annoncé des plans pour rendre Llama 3 multilingue, multimodal, meilleur en codage et en raisonnement, et pour augmenter sa fenêtre de contexte.
Concernant les lois de mise à l'échelle, les modèles Llama 3 ont empiriquement montré que les performances continuent de s'échelonner log-linéairement même au-delà de la quantité optimale de données d'entraînement selon Chinchilla. Par exemple, l'ensemble de données optimal selon Chinchilla pour Llama 3 8B est de 200 milliards de tokens, mais les performances se sont améliorées jusqu'à 15 billions de tokens (75 fois plus). Dans une interview, Mark Zuckerberg a noté que la version 8B était presque aussi puissante que la plus grande Llama 2, et que le modèle 70B apprenait encore à la fin de l'entraînement, qui a été arrêté pour allouer les ressources GPU ailleurs.
Llama 3.1 a été publié le 23 juillet 2024, introduisant un modèle à 405B paramètres, ainsi que des versions mises à jour de 8B et 70B, avec une fenêtre de contexte plus longue de 128K tokens et un meilleur support multilingue.
Llama 4 et au-delà
Llama 4 a été publié en avril 2025, avec une architecture de mélange d'experts avec des tailles allant jusqu'à 2 billions de paramètres. Il a introduit des capacités multimodales et un raisonnement amélioré. En avril 2026, Meta Superintelligence Labs a publié Muse Spark comme remplacement de Llama, signalant un changement dans la stratégie IA de Meta.
Impact et écosystème
La fuite des poids de Llama 1 a catalysé un écosystème open source dynamique, avec de nombreux affinages et dérivés émergents. Elle a permis aux chercheurs et aux amateurs d'expérimenter avec les LLM sans coûts d'API, conduisant à des innovations en quantification, inférence efficace et déploiement local. La disponibilité de modèles plus petits comme 7B et 13B a rendu possible l'exécution de LLM sur du matériel grand public, démocratisant l'accès. Cela contrastait avec les approches fermées d'autres grands laboratoires comme OpenAI et Anthropic, et a influencé les publications ultérieures d'autres organisations. La controverse sur la licence a également mis en évidence les tensions entre les idéaux open source et le contrôle corporatif, un débat qui se poursuit dans la communauté IA.