LLaMA 3 est une famille de grands modèles de langage publiée par Meta AI le 18 avril 2024. Il s'agit de la troisième génération de la série Llama, succédant à Llama 2, et comprend deux tailles de modèles initiales : 8 milliards et 70 milliards de paramètres. Les modèles ont été pré-entraînés sur environ 15 billions de jetons de texte provenant de sources publiquement disponibles, avec des versions ajustées par instructions affinées sur des ensembles de données d'instructions publiques et plus de 10 millions d'exemples annotés par des humains. LLaMA 3 a démontré des performances compétitives par rapport à des modèles propriétaires comme Gemini Pro 1.5 et Claude 3 Sonnet sur de nombreux benchmarks, et Meta a annoncé son intention de le rendre multilingue, multimodal et meilleur en codage et en raisonnement.
Contexte
Le développement de LLaMA 3 a eu lieu au milieu d'avancées rapides dans le domaine de la IA générative, à la suite du succès de ChatGPT d'OpenAI et de la publication des premiers modèles Llama. Le scientifique en chef de l'IA chez Meta, Yann LeCun, avait déclaré que les grands modèles de langage sont les mieux adaptés pour aider à l'écriture, reflétant l'accent mis par Meta sur les applications pratiques. La série Llama a commencé en février 2023 avec le LLaMA original, initialement disponible uniquement pour les chercheurs sous une licence non commerciale. Après une fuite non autorisée des poids via BitTorrent, les versions ultérieures, y compris Llama 2, ont été rendues plus accessibles avec une utilisation commerciale autorisée.
Architecture du modèle et entraînement
LLaMA 3 conserve l'architecture transformer utilisée dans les modèles Llama précédents, mais avec des améliorations dans l'échelle et la qualité des données d'entraînement. Les modèles ont été entraînés sur 15 billions de jetons, nettement plus que la quantité optimale selon Chinchilla pour leurs tailles. Par exemple, l'ensemble de données optimal selon Chinchilla pour le modèle 8B est de 200 milliards de jetons, mais les performances ont continué à évoluer de manière log-linéaire jusqu'à 75 fois cette quantité. Cette découverte empirique a souligné les avantages de l'entraînement sur des ensembles de données plus grands que ce qui était auparavant considéré comme optimal. Le modèle 70B apprenait encore à la fin de l'entraînement, mais Meta a décidé de s'arrêter pour allouer les ressources GPU ailleurs. Les modèles ont été entraînés à l'aide de l'optimiseur Adam et d'autres techniques courantes en apprentissage profond.
Publication et disponibilité
LLaMA 3 a été publié le 18 avril 2024, avec des poids disponibles pour les versions de base et ajustées par instructions. Contrairement au LLaMA original, qui nécessitait une approbation au cas par cas, LLaMA 3 a été rendu disponible sous une licence autorisant une utilisation commerciale, bien qu'avec des politiques d'utilisation acceptable que certains estiment empêcher qu'il soit véritablement open source. La publication comprenait un site web dédié pour Meta AI, un assistant construit sur LLaMA 3, et une intégration dans Facebook et WhatsApp. Meta a également annoncé des projets futurs pour des modèles plus grands et des capacités élargies.
Performances et réception
Dans les tests internes de Meta, LLaMA 3 70B a surpassé Gemini Pro 1.5 de Google DeepMind et Claude 3 Sonnet d'Anthropic sur la plupart des benchmarks. Le modèle 8B a été rapporté par Mark Zuckerberg comme étant presque aussi puissant que le plus grand modèle Llama 2. La publication a été bien accueillie dans la communauté de l'IA, beaucoup saluant la disponibilité ouverte de modèles performants. Cependant, certains commentateurs ont noté que les restrictions de licence signifiaient qu'il n'était pas entièrement open source, un point également soulevé par l'Open Source Initiative. Le succès de LLaMA 3 a contribué à la prolifération des modèles à poids ouverts et a influencé les publications ultérieures, y compris Llama 3.1 en juillet 2024 et Llama 4 en avril 2025.
Impact et héritage
La publication de LLaMA 3 a renforcé la tendance des modèles à poids ouverts à défier les systèmes propriétaires. L'échelle de ses données d'entraînement et ses performances ont démontré l'importance de la quantité de données dans le développement de modèles. La disponibilité du modèle sur des plateformes comme Hugging Face et via des services cloud tels que AWS et Azure a facilité une adoption généralisée. En avril 2026, Meta Superintelligence Labs a publié Muse Spark comme remplacement de Llama, marquant la fin de la série Llama. Néanmoins, LLaMA 3 reste une étape importante dans l'évolution de l'intelligence artificielle et de l'apprentissage automatique.