La fuga de Llama y su código abierto se refiere a la distribución no autorizada en marzo de 2023 de los pesos de LLaMA (Large Language Model Meta AI) de Meta AI a través de BitTorrent, lo que catalizó un cambio en la accesibilidad de la IA. La fuga permitió a investigadores y desarrolladores de todo el mundo usar y modificar el modelo, lo que condujo a una proliferación de derivados de código abierto e influyó en la decisión posterior de Meta de lanzar versiones posteriores bajo licencias más permisivas. Este evento a menudo se compara con el lanzamiento de Stable Diffusion en el dominio de texto a imagen, ya que democratizó el acceso a los grandes modelos de lenguaje y estimuló la innovación en el campo.
Meta AI, una subsidiaria de Meta Platforms, presentó LLaMA en febrero de 2023 como una familia de grandes modelos de lenguaje que van desde 1 billón hasta 2 billones de parámetros. Inicialmente, los pesos del modelo estaban disponibles solo para investigadores académicos caso por caso bajo una licencia no comercial. La fuga eludió estas restricciones, haciendo que los pesos fueran públicamente accesibles y provocando una discusión más amplia sobre la IA de código abierto y sus implicaciones.
Antecedentes
Antes de la fuga de Llama, el campo de la inteligencia artificial estaba dominado por modelos propietarios de empresas como OpenAI, que lanzó GPT-3 en 2020 y ChatGPT en noviembre de 2022. El éxito de ChatGPT destacó las capacidades de los grandes modelos de lenguaje e intensificó la competencia. El científico jefe de IA de Meta, Yann LeCun, declaró públicamente que los grandes modelos de lenguaje son más adecuados para ayudar con la escritura, posicionando el enfoque de Meta de manera diferente al de otros gigantes tecnológicos.
El desarrollo de LLaMA fue parte de los esfuerzos de investigación más amplios de Meta en aprendizaje automático y aprendizaje profundo. El modelo se entrenó con datos disponibles públicamente, con un enfoque en la eficiencia y la accesibilidad. Meta buscaba crear un modelo que pudiera ejecutarse en hardware de consumo, haciéndolo más accesible que modelos más grandes como GPT-3, que requerían recursos computacionales significativos.
Lanzamiento inicial y fuga
LLaMA se anunció el 24 de febrero de 2023 mediante una publicación de blog y un artículo que detallaba su arquitectura y rendimiento. El código de inferencia se lanzó bajo la licencia de código abierto GPLv3, pero los pesos del modelo estaban restringidos detrás de un proceso de solicitud. Meta declaró que el acceso se otorgaría caso por caso a investigadores académicos, gobiernos, sociedad civil y laboratorios de investigación industrial.
El 3 de marzo de 2023, se subió un torrent que contenía los pesos de LLaMA, con un enlace compartido en el tablón de imágenes 4chan y posteriormente difundido a través de comunidades de IA en línea. El mismo día, una solicitud de extracción en el repositorio oficial de Llama solicitaba agregar el enlace magnético a la documentación. El 4 de marzo, otra solicitud de extracción agregó enlaces a repositorios de HuggingFace que alojaban el modelo. Meta presentó solicitudes de eliminación el 6 de marzo, caracterizando la distribución como no autorizada, y HuggingFace cumplió. El 20 de marzo, Meta presentó una solicitud de eliminación DMCA contra un repositorio con un script de descarga, y GitHub cumplió al día siguiente.
Las reacciones a la fuga fueron mixtas. Algunos expresaron preocupación por posibles usos maliciosos, como el spam sofisticado. Otros celebraron la accesibilidad, señalando que las versiones más pequeñas del modelo podían ejecutarse de manera relativamente económica, promoviendo más investigación. Comentaristas como Simon Willison compararon Llama con Stable Diffusion, un modelo de texto a imagen distribuido abiertamente que condujo a una rápida proliferación de herramientas.
Llama 2: Apertura
El 18 de julio de 2023, Meta anunció Llama 2 en asociación con Microsoft. Esta versión vino en tres tamaños: 7, 13 y 70 mil millones de parámetros. La arquitectura permaneció en gran medida sin cambios respecto a Llama 1, pero los datos de entrenamiento se aumentaron en un 40%. Llama 2 incluía tanto modelos fundacionales como versiones ajustadas para chat. A diferencia del original, todos los modelos se lanzaron con pesos y uso comercial permitido, aunque la licencia incluía una política de uso aceptable, lo que llevó a disputas sobre el término "código abierto" por parte de la Open Source Initiative.
Code Llama, un ajuste fino de Llama 2 para generación de código, se lanzó el 24 de agosto de 2023 en tamaños de 7B, 13B y 34B, con una versión de 70B el 29 de enero de 2024. El entrenamiento implicó 500 mil millones de tokens adicionales de datos de código y 20 mil millones de tokens de datos de contexto largo, con una variante específica de Python entrenada en 100 mil millones de tokens de código Python.
Llama 3 y leyes de escalado
El 18 de abril de 2024, Meta lanzó Llama 3 con tamaños de 8B y 70B de parámetros. Los modelos se preentrenaron con aproximadamente 15 billones de tokens de texto disponible públicamente, con ajuste fino por instrucciones en más de 10 millones de ejemplos anotados por humanos. Las pruebas de Meta mostraron que Llama 3 70B superaba a Gemini Pro 1.5 y Claude 3 Sonnet en la mayoría de los puntos de referencia. Meta anunció planes para capacidades multilingües y multimodales, mejor codificación y razonamiento, y una ventana de contexto más grande.
Llama 3 demostró que el rendimiento continúa escalando log-linealmente más allá de la cantidad de datos óptima de Chinchilla. Por ejemplo, el conjunto de datos óptimo del modelo de 8B era de 200 mil millones de tokens, pero el rendimiento mejoró hasta 15 billones de tokens. Mark Zuckerberg señaló que el modelo de 70B todavía estaba aprendiendo al final del entrenamiento, y la decisión de detenerse se tomó para asignar recursos de GPU en otros lugares.
Llama 3.1 se lanzó el 23 de julio de 2024, con mejoras adicionales.
Impacto y derivados
La fuga y la posterior apertura del código de Llama condujeron a un aumento en modelos y herramientas derivados. La accesibilidad de los pesos permitió a los investigadores ajustar Llama para tareas específicas, lo que llevó a innovaciones en aplicaciones de IA generativa y grandes modelos de lenguaje. El evento también influyó en la estrategia de Meta, ya que la empresa adoptó un enfoque más abierto con cada iteración.
La comparación con Stable Diffusion es apropiada: ambos modelos, cuando se distribuyen abiertamente, provocaron una explosión creativa. En el caso de Llama, la fuga permitió el desarrollo de modelos ligeros que podían ejecutarse en hardware de consumo, democratizando el acceso a capacidades de IA que antes estaban limitadas a grandes corporaciones.
Implicaciones más amplias para la accesibilidad de la IA
La fuga de Llama destacó la tensión entre el control propietario y el acceso abierto en el desarrollo de la IA. Aunque Meta inicialmente buscó restringir el acceso, la fuga demostró la dificultad de contener los pesos del modelo una vez liberados. Esto tiene implicaciones para otras empresas de IA, como OpenAI y Anthropic, que han adoptado diversos grados de apertura.
El evento también contribuyó al debate sobre la IA de código abierto, con defensores argumentando que el acceso abierto fomenta la innovación y la transparencia, mientras que los críticos advierten sobre un posible uso indebido. El panel abierto y otras organizaciones han opinado sobre la necesidad de políticas equilibradas.
Legado y futuro
A partir de 2025, Meta lanzó Llama 4 en abril de 2025, continuando la tendencia de código abierto. En abril de 2026, Meta Superintelligence Labs lanzó Muse Spark como reemplazo de Llama, señalando una nueva dirección. La fuga de Llama sigue siendo un momento pivotal en la historia de la IA, demostrando el poder de la distribución impulsada por la comunidad y los desafíos de controlar tecnología avanzada.
El legado de la fuga es evidente en el próspero ecosistema de modelos de código abierto, desde Mistral hasta Falcon, que se han construido sobre la base de Llama. El evento también influyó en las discusiones políticas, con gobiernos e instituciones considerando cómo equilibrar innovación y seguridad en la IA.
Conclusión
La fuga de Llama y su apertura marcaron un punto de inflexión en la accesibilidad de la IA, transformando un modelo de investigación restringido en un recurso abierto ampliamente utilizado. El evento aceleró el desarrollo de la IA de código abierto y destacó la importancia de la participación comunitaria en la configuración del futuro de la tecnología. A medida que la IA continúa evolucionando, las lecciones de la fuga de Llama probablemente informarán futuras decisiones sobre la liberación de modelos y la seguridad.