Llama 2 est une famille de modèles de langage de grande taille (LLM) publiée par Meta AI le 18 juillet 2023, en partenariat avec Microsoft. Contrairement à la première version de Llama, qui était réservée aux chercheurs académiques sous une licence non commerciale, Llama 2 a été rendu accessible au public avec des poids de modèle et une licence autorisant de nombreux cas d'usage commerciaux. La publication incluait à la fois des modèles de fondation et des versions de chat ajustées par instruction, en tailles de 7, 13 et 70 milliards de paramètres.
Le lancement de Llama 2 a été un événement significatif dans le domaine de la IA générative, car il offrait une alternative open-weights compétitive aux modèles propriétaires comme GPT-3 et ChatGPT. Il a également suscité un débat sur la signification de « open source » dans l'IA, car la licence de Meta incluait des restrictions d'utilisation que certains jugeaient contraires à la définition de l'open source. Cette publication a influencé les développements ultérieurs dans les modèles open-weights, y compris le propre Llama 3 de Meta et d'autres modèles de sociétés comme Mistral AI et AI21 Labs.
Contexte
Le développement de Llama 2 s'est inscrit dans un contexte de progrès rapides des modèles de langage de grande taille. Après la publication de GPT-3 en 2020, les chercheurs ont constaté que l'augmentation de la taille des modèles conduisait souvent à des améliorations spectaculaires des capacités, telles que le raisonnement et la génération de code. Le lancement de ChatGPT en novembre 2022 a fait découvrir les LLM à un large public et a déclenché une course à l'échelle industrielle pour développer et améliorer ces modèles.
La réponse initiale de Meta a été prudente. Dans une interview, le scientifique en chef de l'IA, Yann LeCun, a noté que les LLM étaient surtout adaptés pour aider à l'écriture, plutôt que pour servir de moteurs de raisonnement à usage général. Cependant, le succès de ChatGPT et la fuite du premier modèle Llama en mars 2023 ont conduit Meta à réévaluer sa stratégie. En publiant Llama 2 ouvertement, Meta visait à concurrencer tout en favorisant un écosystème de développeurs et de chercheurs externes.
Annonce de la publication
Meta a annoncé Llama 2 le 18 juillet 2023, dans un article de blog et un document intitulé « Llama 2: Open Foundation and Fine-Tuned Chat Models ». La publication était accompagnée d'un partenariat avec Microsoft, qui a rendu Llama 2 disponible sur sa plateforme cloud Azure et sur le système d'exploitation Windows de Microsoft. Meta a également fourni un guide d'utilisation responsable et une licence communautaire autorisant l'usage commercial, avec des stipulations telles que l'interdiction d'utiliser le modèle pour améliorer d'autres modèles de langage de grande taille.
L'annonce a souligné que Llama 2 avait été entraîné sur 40 % de données supplémentaires par rapport à son prédécesseur, Llama 1, et que les versions de chat avaient été ajustées à l'aide de l'apprentissage par renforcement à partir de retours humains (RLHF), une technique similaire à celle utilisée pour ChatGPT. Meta a rapporté que le modèle de chat 70B surpassait ChatGPT sur certains benchmarks, bien que ces affirmations aient ensuite été débattues.
Architecture et entraînement du modèle
Llama 2 conserve la même architecture basée sur les transformeurs que Llama 1, mais avec des ajustements dans l'entraînement. Les modèles utilisent le même tokeniseur et les mêmes nombres de paramètres, mais ont été entraînés sur 2 billions de jetons de données web publiques, contre 1,4 billion pour Llama 1. Les données d'entraînement comprenaient des mélanges de textes en anglais, de code et d'autres sources.
Les trois tailles - 7B, 13B et 70B - ont été choisies pour s'adapter à différents matériels et cas d'usage. Les modèles 7B et 13B peuvent fonctionner sur des GPU grand public, tandis que le modèle 70B nécessite des ressources de calcul plus substantielles. Meta a également publié des versions de débogage et quantifiées pour faciliter l'inférence locale.
Pour les ajustements de chat, Meta a utilisé un processus en plusieurs étapes : un ajustement supervisé sur des démonstrations humaines, puis un RLHF avec optimisation de politique proximale, suivi d'un échantillonnage par rejet. La société a également mis en œuvre des mesures de sécurité dans les modèles de chat pour rejeter les invites nuisibles, bien que celles-ci n'aient pas toujours été efficaces.
Licence ouverte et controverse
La licence de Llama 2 a été saluée comme un progrès par rapport à Llama 1, qui était limité aux chercheurs académiques. Cependant, la licence n'a pas été approuvée par l'Open Source Initiative (OSI), qui maintient la définition officielle de l'open source. L'OSI a fait valoir que les restrictions sur l'utilisation de Llama 2 pour améliorer d'autres LLM et les limites d'utilisateurs pour les grandes entreprises violaient les principes de l'open source, qui exigent l'absence de restrictions sur le domaine d'utilisation et l'absence de discrimination envers les personnes ou les groupes.
Meta a continué à utiliser le terme « open source » pour décrire Llama 2, ce qui a suscité des critiques de certains développeurs et chercheurs qui estimaient que le mot était dilué. Ce débat s'est intensifié avec les publications ultérieures, car Llama 3 de Meta et d'autres modèles utilisaient des licences similaires.
Malgré la controverse, la disponibilité des poids de Llama 2 a permis une large gamme d'applications. Les chercheurs pouvaient ajuster le modèle pour des domaines spécifiques, et les startups pouvaient créer des produits commerciaux sans payer de frais de licence, à condition de respecter la politique d'utilisation acceptable.
Réception et impact
Les réactions initiales à Llama 2 ont été mitigées. Beaucoup ont salué Meta pour avoir publié un modèle puissant avec moins de restrictions, le comparant à l'impact de Stable Diffusion dans la génération d'images. Les développeurs ont rapidement créé des ajustements pour le codage, le chat et d'autres fins. Le modèle a été intégré dans des plateformes comme Hugging Face (bien que non fourni comme slug) et AWS et Google Cloud.
Cependant, certains critiques ont noté que les performances de Llama 2, en particulier pour le modèle 70B, ne correspondaient pas toujours à celles des modèles propriétaires comme GPT-4 ou PaLM 2. Des benchmarks indépendants ont montré que Llama 2 70B était compétitif avec GPT-3.5 dans de nombreuses tâches, mais en retard sur l'état de l'art en matière de raisonnement et de factualité.
La publication a également eu un impact sur la communauté de l'IA au sens large. Elle a incité d'autres entreprises, comme Mistral AI, à publier des modèles open-weights, et a contribué à la croissance d'un écosystème décentralisé de déploiement des LLM. De plus, la disponibilité de Llama 2 sur Microsoft Azure a facilité l'adoption de l'IA open-weights par les entreprises.
Comparaison avec Llama 1 et successeurs
Llama 2 différait de Llama 1 sur plusieurs points clés : il était ouvert à l'usage commercial, il incluait des ajustements de chat et il était entraîné sur plus de données. Cependant, l'architecture était largement inchangée, et certains experts ont noté que les améliorations étaient plus incrémentales que révolutionnaires.
Les publications ultérieures ont bâti sur Llama 2. En août 2023, Meta a publié Code Llama, un ajustement de Llama 2 spécialisé dans la génération de code, en tailles 7B, 13B, 34B et 70B. En avril 2024, Meta a introduit Llama 3, avec des tailles 8B et 70B, qui utilisait un ensemble de données d'entraînement plus vaste et montrait des performances améliorées. Llama 3 a été suivi par Llama 4 en avril 2025, qui est devenu une partie de l'assistant IA de Meta. En 2026, Meta Superintelligence Labs a publié Muse Spark comme successeur.
Héritage
L'héritage de Llama 2 réside dans son rôle de catalyseur du mouvement open-weights dans l'IA. Il a démontré que des modèles puissants pouvaient être partagés largement tout en maintenant des contrôles de sécurité, et il a fourni une alternative pratique aux modèles fermés, uniquement accessibles via API. Le modèle a également influencé les discussions sur la définition de l'open source dans l'IA, un débat qui se poursuit à mesure que le domaine évolue.
Pour de nombreux développeurs et chercheurs, Llama 2 est devenu une référence pour l'expérimentation et l'innovation. Sa publication a abaissé la barrière à l'entrée pour travailler avec des modèles de langage de grande taille, permettant une vague d'ajustements et d'applications qui n'auraient peut-être pas existé autrement. Même à mesure que de nouveaux modèles ont émergé, Llama 2 est resté un point de référence pour comprendre les compromis entre ouverture, capacité et sécurité dans le développement de l'IA.