Meta Llama 4 est une famille de grands modèles de langage développée par Meta AI, publiée en avril 2025 en tant que successeur de Llama 3. Elle se distingue par son caractère de modèle multimodal natif, capable de traiter et de générer du texte et des images, ainsi que par sa fenêtre de contexte étendue de 10 millions de jetons, lui permettant de gérer de très longs documents ou des entrées multimodales en une seule passe. La publication a poursuivi la stratégie de Meta de distribution en poids ouverts, rendant les modèles disponibles pour la recherche et l'usage commercial sous une licence qui autorise de nombreuses applications, bien qu'ils ne soient pas entièrement open source selon la définition de l'Open Source Initiative.
La série Llama a commencé en février 2023 avec la publication initiale de Llama 1, disponible uniquement pour les chercheurs sous une licence non commerciale, mais ses poids ont fuité publiquement via BitTorrent peu après. Les versions suivantes, à commencer par Llama 2 en juillet 2023, ont été publiées avec des licences plus permissives, autorisant l'usage commercial. Llama 3, publié en avril 2024, a introduit des modèles avec jusqu'à 70 milliards de paramètres et a été entraîné sur 15 billions de jetons. Llama 4 s'est appuyé sur cette base, ajoutant la multimodalité native et une fenêtre de contexte considérablement plus grande, le positionnant comme une réponse compétitive aux modèles de OpenAI, Anthropic et Google DeepMind.
Contexte
Le développement de Llama 4 s'est produit dans le contexte d'avancées rapides dans les capacités des grands modèles de langage. La publication de ChatGPT en novembre 2022 avait suscité un regain d'intérêt et d'investissement dans l'IA générative, menant à une course parmi les entreprises technologiques pour produire des modèles plus puissants et efficaces. Le scientifique en chef de l'IA de Meta, Yann LeCun, avait auparavant exprimé son scepticisme quant au potentiel ultime des grands modèles de langage, suggérant qu'ils sont mieux adaptés pour aider à l'écriture plutôt que pour atteindre une intelligence générale. Néanmoins, Meta a continué à investir massivement dans sa série Llama, visant à concurrencer les modèles propriétaires en offrant des alternatives en poids ouverts.
D'ici 2025, le paysage incluait des modèles comme GPT-4 d'OpenAI, Claude d'Anthropic et Gemini de Google DeepMind, tous repoussant les limites de ce qui était possible avec les architectures transformeurs. L'approche de Meta avec Llama 4 était de se différencier par l'accès ouvert et des innovations techniques, telles que la multimodalité native et une fenêtre de contexte extrêmement longue, ce qui pourrait permettre de nouvelles applications dans l'analyse de documents, la génération de code et le raisonnement multimodal.
Architecture et capacités
Llama 4 a été conçu comme un modèle multimodal natif, ce qui signifie qu'il a été entraîné dès le départ sur des données textuelles et image, plutôt que d'ajouter des capacités de vision après coup. Cette approche permet au modèle de comprendre et de générer du contenu à travers les modalités, permettant des tâches telles que la légende d'images, la réponse à des questions visuelles et la génération de texte-image entrelacé. L'architecture du modèle est basée sur le cadre transformeur, avec des modifications pour prendre en charge les entrées et sorties multimodales.
L'une des caractéristiques les plus significatives de Llama 4 est sa fenêtre de contexte de 10 millions de jetons. C'est une augmentation substantielle par rapport aux modèles précédents, qui prenaient généralement en charge des fenêtres de contexte de 128 000 jetons ou moins. La fenêtre de contexte plus grande permet au modèle de traiter des livres entiers, de longs codes sources ou des documents multimodaux étendus en une seule passe, améliorant la cohérence et réduisant le besoin de découpage ou de résumé. Cette capacité a été rendue possible par des avancées dans encodage positionnel et attention multi-têtes qui permettent une gestion efficace des longues séquences.
Llama 4 a été publié en plusieurs tailles, allant de modèles plus petits adaptés aux appareils de périphérie à des modèles plus grands pour le déploiement dans le cloud. Les nombres exacts de paramètres n'ont pas été entièrement divulgués, mais la famille incluait des modèles avec des milliards à des centaines de milliards de paramètres, suivant les tendances de mise à l'échelle observées dans les versions antérieures. Les modèles ont été entraînés sur un ensemble de données diversifié de textes et d'images publiquement disponibles, avec un accent sur des données de haute qualité pour améliorer les performances.
Entraînement et données
Meta AI a entraîné Llama 4 sur un large corpus de données publiquement disponibles, comprenant du texte web, des livres, du code et des images. Le processus d'entraînement impliquait des techniques de apprentissage profond telles que optimiseur Adam et plan de taux d'apprentissage pour optimiser les paramètres du modèle. L'utilisation de augmentation de données et de apprentissage par curriculum a aidé à améliorer la généralisation et la robustesse. Les modèles ont été pré-entraînés en tant que modèles de base puis affinés avec des données de suivi d'instructions, en utilisant des méthodes comme apprentissage par renforcement à partir de retours d'IA pour s'aligner sur l'intention de l'utilisateur.
Les données d'entraînement ont été organisées pour inclure une large gamme de langues et de domaines, rendant Llama 4 multilingue et capable de gérer des tâches diverses. L'inclusion de données image a nécessité le développement de nouveaux pipelines d'entraînement pour gérer les entrées multimodales, impliquant des mécanismes de attention croisée pour fusionner les informations de différentes modalités. Meta a également employé des techniques comme écrêtage de gradient et normalisation par lots pour stabiliser l'entraînement sur des clusters à grande échelle.
Publication et disponibilité
Llama 4 a été annoncé en avril 2025, avec les modèles rendus disponibles au téléchargement sur le site web de Meta et via des plateformes partenaires. La publication incluait à la fois des modèles de base et des versions affinées par instructions, similaires aux publications précédentes de Llama. Les poids ont été distribués sous une licence qui autorisait l'usage commercial, mais avec une politique d'utilisation acceptable qui restreignait certaines applications, telles que la génération de spam ou la surveillance. Cela a conduit à un débat continu sur la question de savoir si les modèles pouvaient être considérés comme véritablement open source, car le panel ouvert et d'autres organisations ont souligné que la licence ne répondait pas à la définition de l'open source.
Meta a également intégré Llama 4 dans son assistant Meta AI, disponible sur Facebook, WhatsApp et un site web dédié. Cela a permis aux utilisateurs d'interagir avec le modèle pour des tâches comme répondre à des questions, générer du contenu et analyser des images. La publication a été accompagnée de benchmarks montrant que Llama 4 performait de manière compétitive avec les principaux modèles d'OpenAI, d'Anthropic et de Google DeepMind sur diverses tâches de traitement du langage naturel et multimodales.
Réception et impact
Le lancement de Llama 4 a rencontré un intérêt significatif de la communauté de l'IA, en particulier en raison de sa multimodalité native et de sa longue fenêtre de contexte. Les chercheurs et développeurs ont salué l'approche en poids ouverts, qui permettait l'affinage et le déploiement sur du matériel personnalisé, y compris les puces AMD et Intel, ainsi que des plateformes cloud comme Amazon Web Services, Microsoft Azure et Google Cloud. La capacité du modèle à gérer 10 millions de jetons a ouvert de nouvelles possibilités pour des applications dans la revue de documents juridiques, la recherche scientifique et l'ingénierie logicielle.
Cependant, certains critiques ont noté que les performances du modèle sur certains benchmarks n'étaient pas toujours supérieures à celles de modèles plus petits et plus spécialisés, et que les ressources computationnelles requises pour l'inférence avec une si grande fenêtre de contexte pouvaient être prohibitives. La publication a également soulevé des préoccupations quant au potentiel de mauvaise utilisation, comme la génération de contenu trompeur ou de deepfakes, étant donné les capacités multimodales du modèle. Meta a répondu à ces préoccupations en mettant en œuvre des filtres de sécurité et en fournissant des directives pour une utilisation responsable.
Comparaison avec les concurrents
Llama 4 est entré sur un marché compétitif où GPT-4 d'OpenAI, Claude 3 d'Anthropic et Gemini de Google DeepMind étaient déjà établis. Chacun de ces modèles avait ses propres forces : GPT-4 était connu pour son raisonnement général et ses capacités de codage, Claude 3 pour sa longueur de contexte et ses fonctionnalités de sécurité, et Gemini pour son intégration multimodale. Les principaux différenciateurs de Llama 4 étaient sa distribution en poids ouverts, qui permettait la personnalisation et le déploiement local, et sa fenêtre de contexte de 10 millions de jetons, qui dépassait celle de la plupart des concurrents à l'époque.
En termes de performances, les benchmarks de Llama 4 montraient qu'il était compétitif sur des tâches comme les benchmarks de apprentissage automatique, mais pas toujours le meilleur score. La nature en poids ouverts du modèle le rendait attrayant pour les chercheurs qui voulaient étudier ou affiner le modèle, et pour les entreprises qui préféraient éviter le verrouillage fournisseur. La publication a également stimulé l'innovation dans les techniques d'inférence efficaces, car les développeurs cherchaient à exécuter les grands modèles sur du matériel limité.
Orientations futures
Après la publication de Llama 4, Meta a continué à investir dans sa recherche en IA, avec des plans pour améliorer le raisonnement, le codage et les capacités multilingues du modèle. L'entreprise a également exploré des moyens de réduire le coût computationnel de l'entraînement et de l'inférence, potentiellement en utilisant du matériel spécialisé comme AWS Trainium ou des accélérateurs Groq. En avril 2026, Meta Superintelligence Labs a publié Muse Spark comme remplacement de Llama, signalant un changement vers des modèles plus avancés avec des capacités encore plus grandes. Muse Spark devait s'appuyer sur les leçons apprises de Llama 4, incorporant de nouvelles architectures et techniques d'entraînement pour repousser les limites de ce qui est possible en IA.
L'héritage de Llama 4 réside dans sa démonstration que les modèles en poids ouverts peuvent concurrencer les modèles propriétaires, et que la multimodalité native et les longues fenêtres de contexte sont réalisables à grande échelle. Il a également mis en évidence la tension continue entre ouverture et sécurité dans le développement de l'IA, un débat qui continue de façonner le domaine.