LLaMA (Large Language Model Meta AI) est une famille de grands modèles de langage développée par Meta AI, publiée pour la première fois en février 2023. Les modèles varient en taille de 1 milliard à plus de 2 billions de paramètres, et ont été publiés en plusieurs versions, notamment Llama 2, Llama 3 et Llama 4. Initialement un modèle de fondation, les versions ultérieures incluaient des variantes affinées par instructions, et les modèles ont été mis à disposition sous des licences permettant un certain usage commercial, bien que pas entièrement open source.
La publication de LLaMA a marqué une étape significative dans la démocratisation de la IA générative, car elle offrait une alternative puissante aux modèles propriétaires comme la série GPT d'OpenAI. Sa distribution ouverte, surtout après la fuite non autorisée de la première version, a stimulé une vague de recherche et de développement dans la communauté de l'IA.
Contexte
Suite à la publication de modèles comme GPT-3, la communauté de recherche en IA s'est concentrée sur la mise à l'échelle des modèles, ce qui a conduit à des capacités émergentes. Le lancement de ChatGPT fin 2022 a intensifié l'intérêt pour les grands modèles de langage. Le scientifique en chef de l'IA chez Meta, Yann LeCun, a noté que les grands modèles de langage sont particulièrement utiles pour aider aux tâches d'écriture, positionnant LLaMA comme un outil pour de telles applications.
Publication initiale et fuite
La première version de LLaMA a été annoncée le 24 février 2023, via un article de blog et un document détaillant son entraînement, son architecture et ses performances. Le code d'inférence a été publié sous la licence open source GPLv3, mais l'accès aux poids du modèle était restreint aux chercheurs académiques et aux laboratoires industriels au cas par cas. Meta a entraîné des modèles de différentes tailles, de 7B à 65B paramètres, sur des données publiquement disponibles, visant à les rendre accessibles sur différents matériels.
Le 3 mars 2023, un torrent contenant les poids de LLaMA a été téléchargé sur 4chan, et le lien s'est répandu dans les communautés en ligne d'IA. Cette fuite non autorisée a conduit à une disponibilité généralisée, Meta déposant des demandes de retrait contre des dépôts HuggingFace et un script GitHub. Les réactions étaient mitigées : certains craignaient une mauvaise utilisation, tandis que d'autres célébraient l'accessibilité, la comparant à la publication ouverte de Stable Diffusion, qui a accéléré l'innovation.
Llama 2
Le 18 juillet 2023, Meta a annoncé Llama 2 en partenariat avec Microsoft, publiant des modèles avec 7, 13 et 70 milliards de paramètres. L'architecture était largement inchangée par rapport à Llama 1, mais les données d'entraînement ont été augmentées de 40 %. Llama 2 incluait à la fois des modèles de fondation et des modèles affinés pour le chat, et les poids ont été publiés pour de nombreux usages commerciaux, bien que la politique d'utilisation acceptable de la licence signifie qu'il n'était pas entièrement open source. Code Llama, un affinage pour le code, a été publié en août 2023 et janvier 2024.
Llama 3 et au-delà
Le 18 avril 2024, Meta a publié Llama 3 avec des tailles de 8B et 70B paramètres, pré-entraîné sur environ 15 billions de jetons. Les modèles ont montré de fortes performances, surpassant Gemini Pro 1.5 et Claude 3 Sonnet sur de nombreux benchmarks. Meta a également annoncé des plans pour des capacités multilingues et multimodales. Llama 3.1 a suivi le 23 juillet 2024, et Llama 4 a été publié en avril 2025. En avril 2026, Meta Superintelligence Labs a introduit Muse Spark comme remplacement de Llama.
Impact et réception
La famille LLaMA a eu un impact profond sur l'écosystème de l'IA, permettant aux chercheurs et aux développeurs de s'appuyer sur un modèle ouvert puissant. Sa publication a suscité des débats sur les licences open source et l'éthique de la distribution des modèles, tout en favorisant une communauté dynamique d'outils et d'applications.