La fuite et l'ouverture de Llama fait référence à la distribution non autorisée en mars 2023 des poids de LLaMA (Large Language Model Meta AI) de Meta AI via BitTorrent, qui a catalysé un changement dans l'accessibilité de l'IA. La fuite a permis aux chercheurs et développeurs du monde entier d'utiliser et de modifier le modèle, conduisant à une prolifération de dérivés open-source et influençant la décision ultérieure de Meta de publier les versions suivantes sous des licences plus permissives. Cet événement est souvent comparé à la sortie de Stable Diffusion dans le domaine du texte-à-image, car il a démocratisé l'accès aux grands modèles de langage et stimulé l'innovation dans ce domaine.
Meta AI, une filiale de Meta Platforms, a introduit LLaMA en février 2023 comme une famille de grands modèles de langage allant de 1 milliard à 2 billions de paramètres. Initialement, les poids du modèle n'étaient disponibles que pour les chercheurs académiques au cas par cas sous une licence non commerciale. La fuite a contourné ces restrictions, rendant les poids publiquement accessibles et suscitant une discussion plus large sur l'IA open-source et ses implications.
Contexte
Avant la fuite de Llama, le domaine de l'intelligence artificielle était dominé par des modèles propriétaires d'entreprises comme OpenAI, qui a publié GPT-3 en 2020 et ChatGPT en novembre 2022. Le succès de ChatGPT a mis en évidence les capacités des grands modèles de langage et intensifié la concurrence. Le scientifique en chef de l'IA de Meta, Yann LeCun, a déclaré publiquement que les grands modèles de langage sont les mieux adaptés pour aider à l'écriture, positionnant l'approche de Meta différemment des autres géants de la technologie.
Le développement de LLaMA faisait partie des efforts de recherche plus larges de Meta dans apprentissage automatique et apprentissage profond. Le modèle a été entraîné sur des données publiquement disponibles, avec un accent sur l'efficacité et l'accessibilité. Meta visait à créer un modèle pouvant fonctionner sur du matériel grand public, le rendant plus accessible que des modèles plus grands comme GPT-3, qui nécessitaient des ressources informatiques significatives.
Sortie initiale et fuite
LLaMA a été annoncé le 24 février 2023 via un article de blog et un document détaillant son architecture et ses performances. Le code d'inférence a été publié sous la licence open-source GPLv3, mais les poids du modèle étaient protégés par un processus de demande. Meta a déclaré que l'accès serait accordé au cas par cas aux chercheurs académiques, aux gouvernements, à la société civile et aux laboratoires de recherche industrielle.
Le 3 mars 2023, un torrent contenant les poids de LLaMA a été téléchargé, avec un lien partagé sur le forum 4chan et ensuite diffusé dans les communautés d'IA en ligne. Le même jour, une demande de tirage sur le dépôt officiel Llama demandait d'ajouter le lien magnétique à la documentation. Le 4 mars, une autre demande de tirage ajoutait des liens vers des dépôts HuggingFace hébergeant le modèle. Meta a déposé des demandes de retrait le 6 mars, qualifiant la distribution de non autorisée, et HuggingFace s'est conformé. Le 20 mars, Meta a déposé une demande de retrait DMCA contre un dépôt avec un script de téléchargement, et GitHub s'est conformé le lendemain.
Les réactions à la fuite ont été mitigées. Certains ont exprimé des inquiétudes concernant des utilisations malveillantes potentielles, comme le spam sophistiqué. D'autres ont célébré l'accessibilité, notant que les versions plus petites du modèle pouvaient être exécutées relativement à moindre coût, favorisant la recherche. Des commentateurs comme Simon Willison ont comparé Llama à Stable Diffusion, un modèle texte-à-image distribué ouvertement qui a conduit à une prolifération rapide d'outils.
Llama 2 : Ouverture
Le 18 juillet 2023, Meta a annoncé Llama 2 en partenariat avec Microsoft. Cette version était disponible en trois tailles : 7, 13 et 70 milliards de paramètres. L'architecture restait largement inchangée par rapport à Llama 1, mais les données d'entraînement ont été augmentées de 40 %. Llama 2 incluait à la fois des modèles de base et des versions affinées pour le chat. Contrairement à l'original, tous les modèles ont été publiés avec des poids et autorisaient un usage commercial, bien que la licence incluait une politique d'utilisation acceptable, ce qui a conduit à des disputes sur le terme "open-source" de la part de l'Open Source Initiative.
Code Llama, un affinage de Llama 2 pour la génération de code, a été publié le 24 août 2023 en tailles 7B, 13B et 34B, avec une version 70B le 29 janvier 2024. L'entraînement impliquait 500 milliards de jetons supplémentaires de données de code et 20 milliards de jetons de données à contexte long, avec une variante spécifique à Python entraînée sur 100 milliards de jetons de code Python.
Llama 3 et lois d'échelle
Le 18 avril 2024, Meta a publié Llama 3 avec des tailles de 8B et 70B paramètres. Les modèles ont été pré-entraînés sur environ 15 billions de jetons de texte publiquement disponible, avec un affinage par instructions sur plus de 10 millions d'exemples annotés par des humains. Les tests de Meta ont montré que Llama 3 70B surpassait Gemini Pro 1.5 et Claude 3 Sonnet sur la plupart des benchmarks. Meta a annoncé des plans pour des capacités multilingues et multimodales, un meilleur codage et raisonnement, et une fenêtre de contexte plus large.
Llama 3 a démontré que les performances continuent de s'échelonner log-linéairement au-delà de la quantité de données optimale de Chinchilla. Par exemple, le jeu de données optimal du modèle 8B était de 200 milliards de jetons, mais les performances se sont améliorées jusqu'à 15 billions de jetons. Mark Zuckerberg a noté que le modèle 70B apprenait encore à la fin de l'entraînement, et la décision d'arrêter a été prise pour allouer les ressources GPU ailleurs.
Llama 3.1 a été publié le 23 juillet 2024, avec des améliorations supplémentaires.
Impact et dérivés
La fuite et l'ouverture subséquente de Llama ont conduit à une augmentation des modèles et outils dérivés. L'accessibilité des poids a permis aux chercheurs d'affiner Llama pour des tâches spécifiques, conduisant à des innovations dans IA générative et grands modèles de langage. L'événement a également influencé la stratégie de Meta, car l'entreprise a adopté une approche plus ouverte à chaque itération.
La comparaison avec Stable Diffusion est pertinente : les deux modèles, lorsqu'ils sont distribués ouvertement, ont déclenché une explosion créative. Dans le cas de Llama, la fuite a permis le développement de modèles légers pouvant fonctionner sur du matériel grand public, démocratisant l'accès à des capacités d'IA auparavant limitées aux grandes entreprises.
Implications plus larges pour l'accessibilité de l'IA
La fuite de Llama a mis en évidence la tension entre le contrôle propriétaire et l'accès ouvert dans le développement de l'IA. Bien que Meta ait initialement cherché à restreindre l'accès, la fuite a démontré la difficulté de contenir les poids des modèles une fois publiés. Cela a des implications pour d'autres entreprises d'IA, comme OpenAI et Anthropic, qui ont adopté différents degrés d'ouverture.
L'événement a également contribué au débat sur l'IA open-source, avec des partisans arguant que l'accès ouvert favorise l'innovation et la transparence, tandis que les critiques avertissent des risques d'utilisation abusive. Le panel ouvert et d'autres organisations ont pesé sur la nécessité de politiques équilibrées.
Héritage et avenir
En 2025, Meta a publié Llama 4 en avril 2025, poursuivant la tendance à l'ouverture. En avril 2026, Meta Superintelligence Labs a publié Muse Spark comme remplacement de Llama, signalant une nouvelle direction. La fuite de Llama reste un moment charnière dans l'histoire de l'IA, démontrant le pouvoir de la distribution communautaire et les défis du contrôle de la technologie avancée.
L'héritage de la fuite est évident dans l'écosystème florissant de modèles open-source, de Mistral à Falcon, qui ont bâti sur la fondation de Llama. L'événement a également influencé les discussions politiques, avec des gouvernements et des institutions considérant comment équilibrer innovation et sécurité dans l'IA.
Conclusion
La fuite et l'ouverture de Llama ont marqué un tournant dans l'accessibilité de l'IA, transformant un modèle de recherche restreint en une ressource ouverte largement utilisée. L'événement a accéléré le développement de l'IA open-source et souligné l'importance de l'implication communautaire dans la formation de l'avenir de la technologie. Alors que l'IA continue d'évoluer, les leçons de la fuite de Llama informeront probablement les futures décisions sur la publication et la gouvernance des modèles.