En marzo de 2023, los pesos del primer modelo de lenguaje grande LLaMA de Meta se filtraron en línea, haciéndolos públicamente accesibles a través de BitTorrent y otras plataformas. La filtración, que ocurrió poco después del lanzamiento inicial restringido del modelo a investigadores, permitió que una amplia comunidad de desarrolladores e investigadores descargara, ejecutara y ajustara el modelo, acelerando significativamente el desarrollo de IA de código abierto y generando debates sobre accesibilidad, seguridad y el futuro de la distribución de IA.
Antecedentes
Tras el lanzamiento de modelos de lenguaje grandes como GPT-3, un enfoque principal de la investigación en IA fue el escalado de modelos, que en algunos casos mostró aumentos significativos en capacidades emergentes. El lanzamiento de ChatGPT y su éxito sorprendente provocó un aumento en la atención hacia los modelos de lenguaje grandes, impulsando a muchas organizaciones a acelerar sus propios programas de IA.
En comparación con otras respuestas a ChatGPT, el científico jefe de IA de Meta, Yann LeCun, afirmó que los modelos de lenguaje grandes son mejores para ayudar con la escritura. El enfoque de Meta para lanzar su modelo LLaMA difirió del de OpenAI, que mantuvo los pesos de GPT-3 y ChatGPT como propietarios.
Lanzamiento inicial de LLaMA
La primera versión de LLaMA (estilizado como LLaMA y a veces referido como Llama 1) se anunció el 24 de febrero de 2023, mediante una publicación de blog y un artículo que describía el entrenamiento, la arquitectura y el rendimiento del modelo. El código de inferencia utilizado para ejecutar el modelo se publicó bajo la licencia de código abierto GPLv3. El acceso a los pesos del modelo se gestionaba mediante un proceso de solicitud, con acceso otorgado "caso por caso a investigadores académicos; aquellos afiliados a organizaciones gubernamentales, de la sociedad civil y académicas; y laboratorios de investigación industrial en todo el mundo".
LLaMA se entrenó solo con información disponible públicamente y se entrenó en varios tamaños de modelo, con la intención de hacerlo más accesible para diferentes hardware. El modelo era exclusivamente un modelo fundacional, aunque el artículo contenía ejemplos de versiones ajustadas por instrucciones del modelo.
Meta AI informó que el rendimiento del modelo de 13B parámetros en la mayoría de los puntos de referencia de PNL superaba al del mucho más grande GPT-3 (con 175B parámetros), y que el modelo más grande de 65B era competitivo con modelos de última generación como PaLM y Chinchilla.
La filtración
El 3 de marzo de 2023, se subió un torrent que contenía los pesos de LLaMA, con un enlace al torrent compartido en el foro de imágenes 4chan y posteriormente propagado a través de comunidades de IA en línea. Ese mismo día, se abrió una solicitud de extracción en el repositorio principal de LLaMA, solicitando agregar el enlace magnético a la documentación oficial. El 4 de marzo, se abrió una solicitud de extracción para agregar enlaces a repositorios de HuggingFace que contenían el modelo.
El 6 de marzo, Meta presentó solicitudes de eliminación para retirar los repositorios de HuggingFace vinculados en la solicitud de extracción, caracterizándolo como "distribución no autorizada" del modelo. HuggingFace cumplió con las solicitudes. El 20 de marzo, Meta presentó una solicitud de eliminación DMCA por infracción de derechos de autor contra un repositorio que contenía un script que descargaba LLaMA desde un espejo, y GitHub cumplió al día siguiente.
Reacciones a la filtración
Las reacciones a la filtración variaron. Algunos especularon que el modelo se usaría para fines maliciosos, como spam más sofisticado. Otros celebraron la accesibilidad del modelo, así como el hecho de que las versiones más pequeñas del modelo pueden ejecutarse de manera relativamente económica, sugiriendo que esto promovería el florecimiento de desarrollos de investigación adicionales.
Múltiples comentaristas, como Simon Willison, compararon LLaMA con Stable Diffusion, un modelo de texto a imagen que, a diferencia de modelos comparativamente sofisticados que lo precedieron, fue distribuido abiertamente, lo que llevó a una rápida proliferación de herramientas, técnicas y software asociados. La filtración convirtió efectivamente a LLaMA en un modelo de pesos abiertos, eludiendo el acceso controlado de Meta y permitiendo una ola de experimentación impulsada por la comunidad.
Impacto en la IA de código abierto
La filtración aceleró el desarrollo del ecosistema de IA de código abierto. En cuestión de semanas, los desarrolladores crearon versiones ajustadas de LLaMA para tareas específicas, incluido el seguimiento de instrucciones y el chat, utilizando técnicas como LoRA y QLoRA para ejecutar el modelo en hardware de consumo. Esto llevó a una proliferación de herramientas y aplicaciones, incluidos chatbots locales y proyectos de investigación, que no habrían sido posibles bajo el acceso restringido.
La filtración también influyó en la estrategia de lanzamiento posterior de Meta. El éxito y el entusiasmo de la comunidad en torno al modelo filtrado probablemente contribuyeron a la decisión de Meta de lanzar Llama 2 en julio de 2023 con una licencia más permisiva que permitía el uso comercial, aunque con restricciones. Esto marcó un cambio del acceso académico caso por caso inicial a un lanzamiento público más amplio, aunque la licencia aún prohibía ciertos usos, lo que llevó a disputas sobre si calificaba como código abierto.
Versiones posteriores
Tras la filtración, Meta continuó desarrollando la familia LLaMA. El 18 de julio de 2023, en asociación con Microsoft, Meta anunció Llama 2, la próxima generación de Llama. Meta entrenó y lanzó Llama 2 en tres tamaños de modelo: 7, 13 y 70 mil millones de parámetros. La arquitectura del modelo permaneció en gran medida sin cambios respecto a la de Llama 1, pero se usó un 40% más de datos para entrenar los modelos fundacionales.
Llama 2 incluía modelos fundacionales y modelos ajustados para chat. En un cambio adicional respecto a la versión original, todos los modelos se lanzaron con pesos y podían usarse para muchos casos de uso comercial. Debido a que la licencia de Llama imponía una política de uso aceptable que prohibía ciertos propósitos, no era código abierto en sentido estricto. El uso del término "código abierto" por parte de Meta para describir a Llama fue disputado por la Open Source Initiative (que mantiene la Definición de Código Abierto) y otros.
Code Llama, un ajuste de Llama 2 con conjuntos de datos específicos de código, se lanzó en versiones de 7B, 13B y 34B de parámetros el 24 de agosto de 2023, con una versión de 70B lanzada el 29 de enero de 2024. Comenzando con los modelos fundacionales de Llama 2, Meta AI entrenó 500B tokens adicionales de conjuntos de datos de código, seguido de 20B tokens de datos de contexto largo, creando los modelos fundacionales de Code Llama. Este modelo fundacional se entrenó aún más con 5B tokens de seguimiento de instrucciones para crear el ajuste instructo. Otro modelo fundacional se creó para código Python, entrenado con 100B tokens de código solo de Python, antes de los datos de contexto largo.
El 18 de abril de 2024, Meta lanzó Llama 3 con dos tamaños: 8B y 70B de parámetros. Los modelos se preentrenaron con aproximadamente 15 billones de tokens de texto recopilados de "fuentes disponibles públicamente", con los modelos instructo ajustados con "conjuntos de datos de instrucciones disponibles públicamente, así como más de 10 millones de ejemplos anotados por humanos". Las pruebas de Meta AI mostraron en abril de 2024 que Llama 3 70B superaba a Gemini Pro 1.5 y Claude 3 Sonnet en la mayoría de los puntos de referencia. Meta también anunció planes para hacer que Llama 3 sea multilingüe y multimodal, mejor en codificación y razonamiento, y aumentar su ventana de contexto.
En cuanto a las leyes de escalado, los modelos Llama 3 mostraron empíricamente que cuando un modelo se entrena con datos que superan la cantidad "óptima de Chinchilla", el rendimiento continúa escalándose log-linealmente. Por ejemplo, el conjunto de datos óptimo de Chinchilla para Llama 3 8B es de 200 mil millones de tokens, pero el rendimiento continuó escalándose log-linealmente hasta el conjunto de datos 75 veces más grande de 15 billones de tokens.
Durante una entrevista con Dwarkesh Patel, Mark Zuckerberg dijo que la versión de 8B de Llama 3 era casi tan potente como la Llama 2 más grande. En comparación con modelos anteriores, Zuckerberg declaró que el equipo estaba sorprendido de que el modelo de 70B todavía estaba aprendiendo incluso al final del entrenamiento de 15T tokens. Se tomó la decisión de terminar el entrenamiento para enfocar la potencia de GPU en otros lugares.
Junto con el lanzamiento de Llama 3, Meta implementó Meta AI, un asistente de IA construido sobre Llama. Meta AI tiene un sitio web dedicado y está disponible en Facebook y WhatsApp. La última versión es Llama 4, lanzada en abril de 2025. En abril de 2026, Meta Superintelligence Labs lanzó Muse Spark como reemplazo de Llama para alimentar chatbots en varios servicios de Meta.
Legado
La filtración de LLaMA en 2023 es ampliamente considerada un momento pivotal en la historia de la IA de código abierto. Demostró la demanda de modelos de lenguaje grandes accesibles e influyó en las estrategias tanto de Meta como de otras organizaciones. La filtración también destacó los desafíos de controlar la distribución de modelos de IA potentes, un tema que continúa dando forma a las discusiones políticas sobre seguridad y gobernanza de la IA.
El evento contribuyó al auge más amplio de la IA generativa, ya que la disponibilidad de los pesos de LLaMA permitió una ola de innovación que de otro modo podría haberse retrasado. También sentó un precedente para el lanzamiento de modelos posteriores como Llama 2 y Llama 3, que se han convertido en herramientas fundamentales para investigadores y desarrolladores en todo el mundo.