Meta Llama est une famille de modèles de langage de grande taille (LLM) développée par Meta AI, publiée pour la première fois en février 2023. Le nom « Llama » sert d'acronyme rétroactif pour « Large Language Model Meta AI ». Les modèles sont conçus pour être accessibles à la recherche et à un usage commercial, avec des tailles de paramètres variant de 1 milliard à plus de 2 billions. Initialement, Llama était un modèle de fondation, mais à partir de Llama 2, Meta AI a également publié des versions affinées par instructions. La dernière version, Llama 4, a été publiée en avril 2025, et en avril 2026, Meta Superintelligence Labs a introduit Muse Spark comme remplacement de Llama.
Contexte
Le développement de Meta Llama s'est produit dans le contexte des avancées rapides des modèles de langage de grande taille. Après la publication de modèles comme GPT-3, la recherche s'est concentrée sur la montée en échelle, ce qui a parfois conduit à des gains significatifs en capacités émergentes. Le lancement de ChatGPT et son succès inattendu ont accru l'attention du public et de l'industrie sur les LLM. En réponse à ChatGPT, le scientifique en chef de l'IA de Meta, Yann LeCun, a commenté que les modèles de langage de grande taille sont particulièrement utiles pour aider aux tâches d'écriture, reflétant une position prudente mais engagée de Meta.
Première publication et fuite
La première version de Llama, stylisée LLaMA et parfois appelée Llama 1, a été annoncée le 24 février 2023, via un article de blog et un document détaillant son entraînement, son architecture et ses performances. Le code d'inférence a été publié sous la licence open source GPLv3, mais l'accès aux poids du modèle était restreint aux chercheurs académiques et aux organisations affiliées, accordé au cas par cas. Le modèle a été entraîné sur des données publiquement disponibles et était disponible en plusieurs tailles pour s'adapter à différentes capacités matérielles. Meta a rapporté que le modèle de 13 milliards de paramètres surpassait le beaucoup plus grand GPT-3 (175 milliards de paramètres) sur la plupart des benchmarks de NLP, et que le plus grand modèle de 65 milliards était compétitif avec des modèles de pointe comme PaLM et Chinchilla.
Le 3 mars 2023, un torrent contenant les poids de Llama a été divulgué sur 4chan et s'est répandu dans les communautés d'IA. Meta a déposé des demandes de retrait contre les référentiels HuggingFace et un script GitHub, citant une distribution non autorisée et une violation des droits d'auteur. Les réactions ont été mitigées : certains craignaient une mauvaise utilisation, tandis que d'autres célébraient l'accessibilité, la comparant à la distribution ouverte de Stable Diffusion, qui a stimulé une innovation rapide.
Llama 2
Le 18 juillet 2023, en partenariat avec Microsoft, Meta a annoncé Llama 2, disponible en tailles de 7B, 13B et 70B paramètres. L'architecture était largement inchangée par rapport à Llama 1, mais les données d'entraînement ont été augmentées de 40 %. Llama 2 comprenait à la fois des modèles de fondation et des modèles affinés pour le chat, avec des poids publiés pour un usage commercial sous une licence imposant une politique d'utilisation acceptable, ce qui a conduit à des débats sur la question de savoir s'il s'agit d'open source. L'Open Source Initiative a soutenu que les restrictions de licence empêchent qu'il soit véritablement open source.
Code Llama, un affinage de Llama 2 pour la génération de code, a été publié le 24 août 2023, en versions 7B, 13B et 34B, avec une version 70B suivant le 29 janvier 2024. L'entraînement impliquait 500 milliards de jetons supplémentaires de données de code et 20 milliards de jetons de données à contexte long, avec un affinage supplémentaire pour le suivi d'instructions et des modèles spécifiques à Python.
Llama 3
Le 18 avril 2024, Meta a publié Llama 3 avec des tailles de 8B et 70B paramètres. Ces modèles ont été pré-entraînés sur environ 15 billions de jetons provenant de sources publiquement disponibles, avec des modèles instruct affinés sur des ensembles de données d'instructions publiques et plus de 10 millions d'exemples annotés par des humains. Les benchmarks de Meta ont montré que Llama 3 70B surpassait Gemini Pro 1.5 et Claude 3 Sonnet sur la plupart des tests. Meta a annoncé des plans pour des capacités multilingues et multimodales, une amélioration du codage et du raisonnement, et une fenêtre de contexte plus large.
Llama 3 a démontré que les performances continuent de s'étendre de manière log-linéaire même au-delà de la quantité de données d'entraînement optimale selon Chinchilla. Par exemple, l'ensemble de données optimal selon Chinchilla pour le modèle 8B est de 200 milliards de jetons, mais les performances se sont améliorées jusqu'à 15 billions de jetons. Mark Zuckerberg a noté que la version 8B était presque aussi puissante que le plus grand Llama 2, et que le modèle 70B apprenait encore à la fin de l'entraînement, qui a été arrêté pour allouer les ressources GPU ailleurs.
Llama 3.1 a été publié le 23 juillet 2024, avec des améliorations supplémentaires et des longueurs de contexte élargies.
Llama 4 et successeur
Llama 4 a été publié en avril 2025, poursuivant l'évolution de la famille de modèles avec des capacités améliorées. En avril 2026, Meta Superintelligence Labs a publié Muse Spark comme remplacement de Llama, marquant une transition vers une nouvelle génération de modèles.
Applications et écosystème
Les modèles Meta Llama ont été intégrés dans divers produits et services. Aux côtés de Llama 3, Meta a lancé Meta AI, un assistant IA construit sur Llama, disponible sur un site dédié et des plateformes comme Facebook et WhatsApp. Les modèles sont également utilisés par des développeurs tiers et des fournisseurs de cloud, notamment Amazon Web Services, Microsoft Azure et Google Cloud, pour offrir des capacités LLM aux entreprises. La nature à poids ouverts de Llama a favorisé un écosystème dynamique de variantes affinées et d'outils, similaire à la communauté autour des modèles IA générative.
Réception et impact
La publication des modèles Llama a eu un impact significatif sur le paysage de l'IA. La fuite de Llama 1 a démocratisé l'accès aux LLM puissants, permettant la recherche et l'expérimentation en dehors des grandes entreprises. Llama 2 et les versions suivantes ont fourni une alternative commercialement viable aux modèles propriétaires comme ceux de OpenAI et Anthropic. Cependant, les conditions de licence ont suscité des débats sur la définition de l'open source, les critiques notant que la politique d'utilisation acceptable restreint certaines applications. Malgré cela, Llama est devenu une référence pour les modèles à poids ouverts, influençant le développement d'autres efforts open source dans intelligence artificielle.
Architecture technique
Les modèles Llama sont basés sur l'architecture Transformer, utilisant attention multi-têtes et encodage positionnel. Ils emploient des techniques telles que normalisation de couche et connexions résiduelles pour stabiliser l'entraînement. Les modèles sont entraînés à l'aide de variantes de SGD comme Adam, avec programmes de taux d'apprentissage et écrêtage de gradient. Pour l'inférence, échantillonnage top-k et échantillonnage top-p sont couramment utilisés, ainsi que échelle de température. Les lois d'échelle observées dans Llama 3 ont informé la recherche sur les tailles optimales de données d'entraînement, contribuant à une compréhension plus large de apprentissage profond et réseaux de neurones.
Directions futures
Avec l'introduction de Muse Spark en 2026, Meta Superintelligence Labs vise à repousser les limites des capacités de l'IA, en incorporant potentiellement des avancées en apprentissage automatique et IA générative. La transition de Llama à Muse Spark suggère un changement stratégique vers des modèles plus puissants et efficaces, probablement en s'appuyant sur les leçons tirées du développement de Llama. Alors que le domaine évolue, les contributions de Meta continuent de façonner le paysage des modèles d'IA à poids ouverts, équilibrant innovation et considérations de sécurité et d'accessibilité.