Llama 2 est une famille de modèles de langage de grande taille (LLM) développée par Meta AI, publiée le 18 juillet 2023, en partenariat avec Microsoft. Elle succède au modèle Llama original et comprend à la fois des modèles de fondation et des versions de chat ajustées par instructions. Contrairement à son prédécesseur, Llama 2 a été rendu disponible avec des poids pour une utilisation commerciale étendue, sous réserve d'une politique d'utilisation acceptable, ce qui a considérablement influencé l'écosystème de l'IA open source.
Les modèles Llama 2 font partie du paysage plus large des modèles de langage de grande taille, s'appuyant sur les avancées des architectures Transformer (architecture) et des techniques de Deep learning. La publication a été perçue comme une étape majeure vers la démocratisation de l'accès à une IA puissante, offrant une alternative compétitive aux modèles propriétaires de sociétés comme OpenAI et Google DeepMind.
Contexte
Les progrès rapides des modèles de langage de grande taille au début des années 2020, qui ont préparé le terrain pour Llama, sont étroitement liés au succès des outils de IA générative. La publication de GPT-3 a démontré que l'augmentation de la taille des modèles pouvait produire des améliorations spectaculaires des capacités. En novembre 2022, OpenAI a lancé ChatGPT, qui a suscité une attention généralisée et déclenché une augmentation de la recherche et des investissements en IA.
Meta AI, la branche de recherche en IA de Meta, était active dans ce domaine, avec des contributions notables telles que l'architecture Transformer (architecture) développée par des chercheurs de Google DeepMind et d'autres. Le scientifique en chef de l'IA de Meta, Yann LeCun, a publiquement exprimé son scepticisme quant au battage médiatique autour des grands modèles de langage, déclarant qu'ils sont mieux adaptés pour aider aux tâches d'écriture, reflétant l'accent mis par Meta sur la rendre l'IA plus pratique et accessible.
Contexte
Les progrès rapides des modèles de langage de grande taille au début des années 2020, préparant le terrain pour Llama, sont étroitement liés au succès des outils de Generative AI. La publication de GPT-3 a démontré que l'augmentation de la taille des modèles pouvait produire des améliorations spectaculaires des capacités. En novembre 2022, OpenAI a lancé ChatGPT, qui a attiré une attention généralisée et déclenché une augmentation de la recherche et des investissements en IA.
Meta AI, la branche de recherche en IA de Meta, était active dans ce domaine, avec des contributions notables telles que l'architecture Transformer (architecture) développée par des chercheurs de Google DeepMind et d'autres. Le scientifique en chef de l'IA de Meta, Yann LeCun, a publiquement exprimé son scepticisme quant au battage médiatique autour des grands modèles de langage, déclarant qu'ils sont mieux adaptés pour aider aux tâches d'écriture, reflétant l'accent mis par Meta sur la création d'une IA plus pratique et accessible.
Publication initiale et fuite
La famille Llama originale (Llama 1, stylisée LLaMA) a été annoncée le 24 février 2023, via un article de blog et un document technique. Elle était disponible en tailles allant de 1 milliard à 65 milliards de paramètres, entraînée sur des données publiquement disponibles. Initialement, les poids du modèle n'étaient accessibles qu'aux chercheurs au cas par cas sous une licence non commerciale.
Cependant, les poids ont rapidement été divulgués en ligne. En mars 2023, un torrent des poids a été partagé sur 4chan et s'est répandu rapidement. Meta a envoyé des demandes de retrait à HuggingFace et GitHub pour les dépôts hébergeant le modèle, mais la fuite a permis une utilisation et une recherche privées généralisées. Beaucoup ont considéré la fuite comme un tournant pour l'IA ouverte, avec des comparaisons à Stable Diffusion accélérant l'innovation.
Publication de Llama 2
Le 18 juillet 2023, en partenariat avec Microsoft, Meta a annoncé Llama 2, la prochaine génération de la famille Llama. L'entreprise a publié trois tailles de paramètres : 7 milliards, 13 milliards et 70 milliards de paramètres. Meta a également publié à la fois des modèles de fondation et des variantes ajustées. Plus précisément, les ajustements de chat ont été conçus pour un usage conversationnel.
Les modèles ont été entraînés sur 40 % de données supplémentaires par rapport au Llama original, mais l'architecture est restée largement inchangée. Les modèles Llama 2 utilisaient des blocs de Residual Network (ResNet) avec mécanisme d'attention, bénéficiant de Layer Normalization et d'autres innovations. L'ajustement par instructions utilisait des techniques de style RLAIF, combinant l'ajustement supervisé et le retour humain.
Disponibilité commerciale et licence
L'aspect le plus notable de la sortie de Llama 2 était la décision de fournir les poids pour une utilisation gratuite, pour de nombreuses applications commerciales. Meta a publié les modèles sous une licence personnalisée qui permet l'utilisation, la reproduction et la modification à des fins commerciales et de recherche, avec certaines restrictions sur les cas d'utilisation définies par la politique.
En raison de la politique d'utilisation acceptable et d'autres conditions, de nombreux critiques ont soutenu que Llama 2 n'était pas véritablement open source selon les normes de l'Open Source Initiative (OSI). Néanmoins, la disponibilité d'un modèle de langage puissant ouvert à un usage commercial a constitué une étape importante, permettant à de petites organisations et à des individus de s'appuyer sur cette technologie sans dépendre d'API payantes.
Le partenariat avec Microsoft a été notable, car il a intégré la publication à son infrastructure Microsoft Azure. Les modèles ont été rendus disponibles dans le catalogue de modèles Azure AI, mais ils pouvaient également être téléchargés directement, ce qui a accru l'accessibilité.
Architecture et entraînement du modèle
Llama 2 a utilisé une architecture similaire à celle de son prédécesseur, mais avec des ajustements dans la mise à l'échelle. La taille du modèle allait jusqu'à 70 milliards de paramètres, permettant de capturer des schémas plus complexes. L'entraînement utilisait un mélange de sources, notamment des pages Web, des livres et d'autres données publiques, avec un accent sur le filtrage de qualité.
Un aspect clé du processus d'entraînement consiste à optimiser la perte d'entropie croisée, en utilisant des principes comme planification du taux d'apprentissage et élagage de modèle. Meta a également intégré des techniques telles que Dropout et Weight Initialization pour améliorer les performances.
Les modèles 7B, 13B et 70B sont disponibles, le modèle 70B étant conçu pour fonctionner sur plusieurs GPU. Llama 2 a été évalué par rapport à des modèles contemporains tels que GPT-3 et Chinchilla, obtenant des résultats compétitifs sur diverses tâches de référence, y compris le raisonnement et le codage.
Impact sur l'écosystème de l'IA open source
La publication de Llama 2, avec un accès commercial, a considérablement accéléré la croissance de l'écosystème de l'IA open source. Elle a fourni une alternative aux modèles propriétaires, favorisant une communauté de développeurs, de chercheurs et de startups. De nombreuses entreprises, telles que AI21-Labs et Inflection AI, ont utilisé Llama 2 comme base pour leurs propres modèles.
De plus, la publication a été accompagnée d'une intégration dans des services cloud comme Amazon Web Services, Google Cloud et Oracle Cloud Infrastructure, rendant le déploiement accessible. En outre, les fabricants de matériel AMD, Intel et Qualcomm ont optimisé leurs puces pour exécuter Llama efficacement.
Dérivés et ajustements
Les modèles Llama 2 ont été fréquemment ajustés pour diverses applications. Un exemple notable est Code Llama, un ajustement avec des ensembles de données de code spécialisés. Publié le 24 août 2023, initialement en versions 7B, 13B et 34B, puis une version 70B le 29 janvier 2024. Code Llama a été entraîné sur 500 milliards de jetons de données de code, en s'appuyant sur le modèle de fondation. La communauté Generative AI a produit de nombreux autres ajustements, tels que des modèles pour l'écriture créative, l'assistance juridique et les conseils médicaux.
L'accessibilité des poids du modèle a permis aux chercheurs d'appliquer des techniques comme Model Pruning, Quantization et les poids, rendant possible pour les petites entreprises d'IA et les institutions éducatives d'étudier et d'adapter la technologie.
Réponse et critiques
Les réactions à Llama 2 ont été généralement positives, mais aussi préoccupantes. Les partisans ont salué son potentiel à démocratiser l'IA et à favoriser l'innovation, notant qu'il pouvait concurrencer des modèles commerciaux comme GPT-3.5. Cependant, certains critiques ont souligné que les restrictions de licence n'étaient toujours pas entièrement « ouvertes » selon les définitions, limitant ainsi leur degré de liberté.
La politique d'utilisation acceptable restreignait les applications dans des domaines comme la surveillance, le spam et les logiciels malveillants. Cela a été débattu comme un effort pour prévenir les abus, mais a également limité la flexibilité.
Certains chercheurs ont également noté les préoccupations environnementales et de ressources liées à l'entraînement de grands modèles comme Llama 2. L'entraînement nécessitait une puissance de calcul importante, soulevant des questions éthiques et pratiques.
Héritage et avenir
Llama 2 a établi une nouvelle norme pour l'IA ouverte, conduisant à la sortie ultérieure de Llama 3 en avril 2024. La publication a eu un effet durable sur l'industrie, poussant les grands laboratoires commerciaux à reconsidérer la manière dont les modèles pouvaient être partagés. Elle a également encouragé la croissance de la collection d'IA ouverte comme base pour d'autres produits.
L'approche de Llama 2, consistant à fournir des poids avec des restrictions, a été adoptée par d'autres développeurs pour créer des assistants IA comme Meta AI, qui est désormais basé sur Llama 3. À la fin de 2025, Llama est une famille de modèles, et malgré l'émergence de nouveaux modèles, Llama 2 reste un jalon fondamental.
Résumé
En somme, l'annonce de Meta Llama 2 a été un événement significatif dans l'avancement de l'IA générative. En combinant des performances solides avec des poids permissifs, la décision de Meta a contribué à façonner l'écosystème de l'IA ouverte. Cet événement est souvent cité comme l'un des tournants qui ont stimulé l'intérêt pour l'IA commerciale.
Lors de sa sortie, Llama 2 a marqué une rupture avec les pratiques plus restrictives d'autres modèles d'IA, et son impact a été considérable.