La filtración de Meta Llama se refiere a la distribución no autorizada de los pesos del modelo para LLaMA (Large Language Model Meta AI), una familia de modelos de lenguaje grandes desarrollada por Meta AI. El 3 de marzo de 2023, se subió y compartió un torrent que contenía los pesos en 4chan, haciendo que el modelo fuera accesible públicamente a pesar de la política de acceso caso por caso de Meta. La filtración tuvo implicaciones significativas para la comunidad de IA de código abierto, lo que llevó a una experimentación generalizada e influyó en la decisión posterior de Meta de lanzar Llama 2 bajo una licencia más permisiva.
LLaMA fue anunciado el 24 de febrero de 2023, como una serie de modelos fundacionales que van desde 7 mil millones hasta 65 mil millones de parámetros. Meta lo posicionó como una herramienta de investigación, otorgando acceso solo a investigadores académicos y laboratorios industriales. La filtración eludió estas restricciones, permitiendo a desarrolladores de todo el mundo ejecutar y ajustar los modelos en hardware de consumo, lo que impulsó una ola de innovación y debate sobre la accesibilidad de sistemas de IA potentes.
Antecedentes
A principios de la década de 2020, el lanzamiento de GPT-3 y el posterior lanzamiento de ChatGPT en noviembre de 2022 destacaron las capacidades de los modelos de lenguaje grandes. Los investigadores se centraron en escalar modelos, observando habilidades emergentes como el razonamiento y la traducción. El científico jefe de IA de Meta, Yann LeCun, expresó escepticismo sobre el dominio de los LLM, sugiriendo que eran más adecuados para asistencia de escritura que para inteligencia general. A pesar de esto, Meta procedió con su propia investigación de LLM, lo que llevó a la creación de LLaMA.
Lanzamiento Inicial y Política de Acceso
La primera versión de LLaMA se introdujo mediante una publicación de blog y un artículo que detallaba su entrenamiento, arquitectura y rendimiento. El código de inferencia se abrió bajo GPLv3, pero los pesos estaban restringidos detrás de un proceso de solicitud. Meta buscaba proporcionar acceso a investigadores académicos, entidades gubernamentales y laboratorios industriales, con aprobación caso por caso. El modelo se entrenó con datos disponibles públicamente, y Meta informó que la versión de 13 mil millones de parámetros superaba a GPT-3 en muchos puntos de referencia, mientras que el modelo de 65 mil millones rivalizaba con sistemas de última generación como PaLM y Chinchilla.
La Filtración
El 3 de marzo de 2023, se subió un torrent que contenía los pesos de LLaMA, con un enlace compartido en 4chan y luego en comunidades de IA. En cuestión de días, las solicitudes de extracción en el repositorio oficial de Llama agregaron enlaces magnéticos y repositorios de HuggingFace que alojaban el modelo. Meta respondió presentando solicitudes de eliminación a HuggingFace el 6 de marzo, citando distribución no autorizada, y una solicitud DMCA contra un repositorio de GitHub el 20 de marzo. Las filtraciones fueron ampliamente discutidas; algunos temían un uso malicioso, mientras que otros celebraban la democratización de la IA. Los comentaristas compararon el evento con el lanzamiento de Stable Diffusion, que había acelerado de manera similar el desarrollo de IA generativa.
Impacto en la IA de Código Abierto
La filtración permitió a investigadores y aficionados ajustar LLaMA para diversas tareas, lo que llevó a avances rápidos en aplicaciones de IA generativa. Los modelos más pequeños podían ejecutarse en GPU de consumo, reduciendo las barreras de entrada. Este período vio la aparición de numerosas variantes ajustadas y herramientas, fomentando un ecosistema vibrante. La filtración también presionó a Meta para reconsiderar su estrategia de distribución, ya que el gato ya estaba fuera de la bolsa.
Llama 2 y Comercialización
El 18 de julio de 2023, Meta anunció Llama 2 en asociación con Microsoft, lanzando modelos de 7 mil millones, 13 mil millones y 70 mil millones de parámetros. A diferencia del original, Llama 2 incluía versiones fundacionales y ajustadas para chat, y los pesos se hicieron disponibles para uso comercial bajo una licencia personalizada. Sin embargo, esta licencia imponía restricciones de uso aceptable, lo que llevó a la Open Source Initiative a disputar el uso del término "código abierto" por parte de Meta. Llama 2 se entrenó con un 40% más de datos que su predecesor, y su lanzamiento marcó un cambio hacia una accesibilidad más amplia.
Code Llama, una variante especializada para programación, se lanzó el 24 de agosto de 2023, con tamaños de 7 mil millones, 13 mil millones y 34 mil millones, seguido de una versión de 70 mil millones el 29 de enero de 2024. Estos modelos se ajustaron con conjuntos de datos de código y demostraron un rendimiento mejorado en tareas de codificación.
Llama 3 y Más Allá
El 18 de abril de 2024, Meta lanzó Llama 3 en tamaños de 8 mil millones y 70 mil millones de parámetros, entrenado con aproximadamente 15 billones de tokens. Los modelos mostraron un rendimiento sólido, superando a competidores como Gemini Pro 1.5 y Claude 3 Sonnet en muchos puntos de referencia. Notablemente, Llama 3 demostró que el rendimiento continuaba mejorando incluso cuando los datos de entrenamiento excedían la cantidad óptima de Chinchilla, un hallazgo que influyó en las prácticas de escalado. Mark Zuckerberg señaló que el modelo de 8 mil millones casi igualaba al Llama 2 más grande, y el modelo de 70 mil millones aún estaba aprendiendo al final del entrenamiento.
Llama 3.1 siguió el 23 de julio de 2024, introduciendo un modelo de 405 mil millones de parámetros y ventanas de contexto extendidas. Meta también lanzó Meta AI, un asistente construido sobre Llama, integrado en Facebook y WhatsApp. La última versión, Llama 4, llegó en abril de 2025, pero en abril de 2026, Meta Superintelligence Labs lanzó Muse Spark como su sucesor, señalando una nueva dirección.
Legado y Controversias
La filtración sigue siendo un momento pivotal en la historia de la IA, destacando tensiones entre el control corporativo y el acceso abierto. Aceleró el movimiento de código abierto, lo que llevó a la proliferación de LLM locales y herramientas como Ollama y LM Studio. Sin embargo, también planteó preocupaciones sobre el mal uso, ya que los pesos podrían usarse para spam o desinformación. Los lanzamientos posteriores de Meta intentaron equilibrar la apertura con la seguridad, pero el debate sobre lo que constituye "código abierto" en la IA continúa.
Véase También
Referencias
Este artículo se basa en información disponible públicamente y en informes de la época de la filtración y los lanzamientos posteriores.