En mars 2023, les poids du premier grand modèle de langage LLaMA de Meta ont été divulgués en ligne, rendant ces poids accessibles au public via BitTorrent et d'autres plateformes. La fuite, survenue peu après la sortie initiale restreinte du modèle aux chercheurs, a permis à une large communauté de développeurs et de chercheurs de télécharger, d'exécuter et d'affiner le modèle, accélérant considérablement le développement de l'IA open-source et suscitant des débats sur l'accessibilité, la sécurité et l'avenir de la distribution de l'IA.
Contexte
Après la sortie de grands modèles de langage tels que GPT-3, un axe majeur de la recherche en IA était l'augmentation de la taille des modèles, qui montrait dans certains cas des augmentations significatives des capacités émergentes. La sortie de ChatGPT et son succès surprise ont provoqué un regain d'attention pour les grands modèles de langage, incitant de nombreuses organisations à accélérer leurs propres programmes d'IA.
Par rapport à d'autres réponses à ChatGPT, le scientifique en chef de l'IA de Meta, Yann LeCun, a déclaré que les grands modèles de langage étaient les mieux adaptés pour aider à l'écriture. L'approche de Meta pour publier son modèle LLaMA différait de celle d'OpenAI, qui gardait les poids de GPT-3 et ChatGPT propriétaires.
Sortie initiale de LLaMA
La première version de LLaMA (stylisée comme LLaMA et parfois appelée Llama 1) a été annoncée le 24 février 2023, via un article de blog et un document décrivant l'entraînement, l'architecture et les performances du modèle. Le code d'inférence utilisé pour exécuter le modèle a été publié publiquement sous la licence open-source GPLv3. L'accès aux poids du modèle était géré par un processus de candidature, avec un accès accordé « au cas par cas aux chercheurs académiques ; à ceux affiliés à des organisations gouvernementales, de la société civile et académiques ; et aux laboratoires de recherche industriels du monde entier ».
LLaMA a été entraîné uniquement sur des informations publiquement disponibles et a été entraîné à différentes tailles de modèles, dans le but de le rendre plus accessible à différents matériels. Le modèle était exclusivement un modèle de fondation, bien que le document contenait des exemples de versions affinées par instructions du modèle.
Meta AI a rapporté que les performances du modèle à 13 milliards de paramètres sur la plupart des benchmarks de traitement du langage naturel dépassaient celles du GPT-3 beaucoup plus grand (avec 175 milliards de paramètres), et que le plus grand modèle à 65 milliards était compétitif avec des modèles de pointe tels que PaLM et Chinchilla.
La fuite
Le 3 mars 2023, un torrent contenant les poids de LLaMA a été téléchargé, avec un lien vers le torrent partagé sur le forum 4chan et ensuite diffusé dans les communautés d'IA en ligne. Le même jour, une demande de tirage (pull request) sur le dépôt principal de LLaMA a été ouverte, demandant d'ajouter le lien magnétique à la documentation officielle. Le 4 mars, une demande de tirage a été ouverte pour ajouter des liens vers des dépôts HuggingFace contenant le modèle.
Le 6 mars, Meta a déposé des demandes de retrait pour supprimer les dépôts HuggingFace liés dans la demande de tirage, les qualifiant de « distribution non autorisée » du modèle. HuggingFace a répondu aux demandes. Le 20 mars, Meta a déposé une demande de retrait DMCA pour violation de droits d'auteur contre un dépôt contenant un script qui téléchargeait LLaMA depuis un miroir, et GitHub a répondu le lendemain.
Réactions à la fuite
Les réactions à la fuite ont varié. Certains ont spéculé que le modèle serait utilisé à des fins malveillantes, comme du spam plus sophistiqué. D'autres ont célébré l'accessibilité du modèle, ainsi que le fait que les versions plus petites du modèle peuvent être exécutées relativement à moindre coût, suggérant que cela favoriserait l'épanouissement de développements de recherche supplémentaires.
Plusieurs commentateurs, comme Simon Willison, ont comparé LLaMA à Stable Diffusion, un modèle texte-image qui, contrairement aux modèles comparables plus sophistiqués qui l'ont précédé, était distribué ouvertement, conduisant à une prolifération rapide d'outils, de techniques et de logiciels associés. La fuite a effectivement transformé LLaMA en un modèle à poids ouverts, contournant l'accès contrôlé de Meta et permettant une vague d'expérimentation menée par la communauté.
Impact sur l'IA open-source
La fuite a accéléré le développement de l'écosystème de l'IA open-source. En quelques semaines, les développeurs ont créé des versions affinées de LLaMA pour des tâches spécifiques, y compris le suivi d'instructions et le chat, en utilisant des techniques comme LoRA et QLoRA pour exécuter le modèle sur du matériel grand public. Cela a conduit à une prolifération d'outils et d'applications, y compris des chatbots locaux et des projets de recherche, qui n'auraient pas été possibles avec l'accès restreint.
La fuite a également influencé la stratégie de publication ultérieure de Meta. Le succès et l'enthousiasme de la communauté autour du modèle divulgué ont probablement contribué à la décision de Meta de publier Llama 2 en juillet 2023 avec une licence plus permissive permettant une utilisation commerciale, bien qu'avec des restrictions. Cela a marqué un changement par rapport à l'accès académique initial au cas par cas vers une publication publique plus large, bien que la licence interdise toujours certains usages, conduisant à des litiges sur la question de savoir si elle qualifiait d'open-source.
Versions ultérieures
Après la fuite, Meta a continué à développer la famille LLaMA. Le 18 juillet 2023, en partenariat avec Microsoft, Meta a annoncé Llama 2, la prochaine génération de Llama. Meta a entraîné et publié Llama 2 en trois tailles de modèles : 7, 13 et 70 milliards de paramètres. L'architecture du modèle est restée largement inchangée par rapport à celle de Llama 1, mais 40 % de données supplémentaires ont été utilisées pour entraîner les modèles de fondation.
Llama 2 comprenait des modèles de fondation et des modèles affinés pour le chat. Dans un écart supplémentaire par rapport à la version originale, tous les modèles ont été publiés avec des poids et pouvaient être utilisés pour de nombreux cas d'utilisation commerciaux. Parce que la licence de Llama imposait une politique d'utilisation acceptable interdisant certains objectifs, il n'était pas open-source au sens strict. L'utilisation par Meta du terme « open-source » pour décrire Llama a été contestée par l'Open Source Initiative (qui maintient la définition open-source) et d'autres.
Code Llama, un affinage de Llama 2 avec des ensembles de données spécifiques au code, a été publié en versions de 7B, 13B et 34B paramètres le 24 août 2023, avec une version 70B publiée le 29 janvier 2024. En commençant par les modèles de fondation de Llama 2, Meta AI a entraîné 500 milliards de jetons supplémentaires d'ensembles de données de code, suivis de 20 milliards de jetons de données à contexte long, créant les modèles de fondation Code Llama. Ce modèle de fondation a été davantage entraîné sur 5 milliards de jetons de suivi d'instructions pour créer l'affinage instruct. Un autre modèle de fondation a été créé pour le code Python, entraîné sur 100 milliards de jetons de code Python uniquement, avant les données à contexte long.
Le 18 avril 2024, Meta a publié Llama 3 avec deux tailles : 8B et 70B paramètres. Les modèles ont été pré-entraînés sur environ 15 billions de jetons de texte provenant de « sources publiquement disponibles », avec les modèles instruct affinés sur des « ensembles de données d'instructions publiquement disponibles, ainsi que plus de 10 millions d'exemples annotés par des humains ». Les tests de Meta AI ont montré en avril 2024 que Llama 3 70B battait Gemini Pro 1.5 et Claude 3 Sonnet sur la plupart des benchmarks. Meta a également annoncé des plans pour rendre Llama 3 multilingue et multimodal, meilleur en codage et en raisonnement, et pour augmenter sa fenêtre de contexte.
En ce qui concerne les lois de mise à l'échelle, les modèles Llama 3 ont montré empiriquement que lorsqu'un modèle est entraîné sur des données dépassant la quantité « optimale Chinchilla », les performances continuent de s'échelonner log-linéairement. Par exemple, l'ensemble de données optimal Chinchilla pour Llama 3 8B est de 200 milliards de jetons, mais les performances ont continué de s'échelonner log-linéairement jusqu'à l'ensemble de données 75 fois plus grand de 15 billions de jetons.
Lors d'une interview avec Dwarkesh Patel, Mark Zuckerberg a déclaré que la version 8B de Llama 3 était presque aussi puissante que la plus grande Llama 2. Par rapport aux modèles précédents, Zuckerberg a déclaré que l'équipe était surprise que le modèle 70B apprenait encore à la fin de l'entraînement de 15 billions de jetons. La décision a été prise de mettre fin à l'entraînement pour concentrer la puissance GPU ailleurs.
Parallèlement à la sortie de Llama 3, Meta a déployé Meta AI, un assistant IA construit sur Llama. Meta AI a un site Web dédié et est disponible sur Facebook et WhatsApp. La dernière version est Llama 4, publiée en avril 2025. En avril 2026, Meta Superintelligence Labs a publié Muse Spark comme remplacement de Llama pour alimenter les chatbots sur divers services Meta.
Héritage
La fuite de LLaMA en 2023 est largement considérée comme un moment charnière dans l'histoire de l'IA open-source. Elle a démontré la demande pour des grands modèles de langage accessibles et a influencé les stratégies de Meta et d'autres organisations. La fuite a également mis en évidence les défis du contrôle de la distribution de modèles d'IA puissants, un thème qui continue de façonner les discussions politiques sur la sécurité et la gouvernance de l'IA.
L'événement a contribué au boom plus large de la IA générative, car la disponibilité des poids de LLaMA a permis une vague d'innovation qui aurait pu autrement être retardée. Il a également établi un précédent pour la sortie de modèles ultérieurs comme Llama 2 et Llama 3, qui sont devenus des outils fondamentaux pour les chercheurs et les développeurs du monde entier.