Llama 2 es una familia de modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés) desarrollados y publicados por Meta AI en julio de 2023. Es el sucesor del modelo Llama original y está diseñado para ser más accesible y comercialmente utilizable que su predecesor. Llama 2 incluye modelos con 7, 13 y 70 mil millones de parámetros, cada uno disponible tanto en una versión base como en una versión ajustada para aplicaciones de chat. Los modelos se publican con sus pesos, lo que permite un uso amplio, pero bajo una licencia que restringe ciertas aplicaciones, lo que ha generado debate sobre si califican como código abierto.
La arquitectura de Llama 2 sigue en gran medida la del Llama original, pero los datos de entrenamiento se incrementaron en un 40%. Esta expansión buscaba mejorar el rendimiento y la generalización en diversas tareas de procesamiento de lenguaje natural. La publicación de Llama 2 marcó un paso significativo en la estrategia de Meta para competir con otros proveedores de LLM, como OpenAI y Google DeepMind, ofreciendo una alternativa potente pero accesible.
Antecedentes
El desarrollo de Llama 2 ocurrió en el contexto de rápidos avances en los modelos de lenguaje de gran tamaño, especialmente tras la publicación de GPT-3 y la posterior popularidad de ChatGPT. Estos modelos demostraron que escalar redes neuronales podía conducir a mejoras significativas en capacidades, despertando un intenso interés en el campo. El científico jefe de IA de Meta, Yann LeCun, señaló que los LLM son particularmente efectivos para asistencia en escritura, posicionando a Llama como una herramienta para tareas de escritura creativa y profesional.
El Llama original, publicado en febrero de 2023, estaba inicialmente disponible solo para investigadores bajo una licencia no comercial. Sin embargo, sus pesos se filtraron en línea en marzo de 2023, lo que condujo a una distribución no oficial generalizada. Esta filtración, aunque controvertida, también destacó la demanda de LLM accesibles e influyó en la decisión de Meta de publicar Llama 2 con una licencia más permisiva.
Versiones
Publicación inicial
La primera versión de Llama, a veces denominada Llama 1, se anunció el 24 de febrero de 2023. Se entrenó con datos disponibles públicamente y se ofreció en tamaños que iban de 1 a 65 mil millones de parámetros. El modelo de 13 mil millones de parámetros superó al mucho más grande GPT-3 en muchos puntos de referencia, mientras que el modelo de 65 mil millones fue competitivo con modelos de última generación como PaLM y Chinchilla. El acceso a los pesos se restringió a investigadores académicos y laboratorios industriales, pero el código de inferencia se publicó bajo la licencia de código abierto GPLv3.
#### Filtración
El 3 de marzo de 2023, un torrent que contenía los pesos de Llama se subió a 4chan, y los enlaces se difundieron rápidamente por las comunidades de IA en línea. Meta presentó solicitudes de retirada a HuggingFace y GitHub, pero la filtración ya había facilitado un uso generalizado. Los comentaristas compararon la situación con la publicación de Stable Diffusion, sugiriendo que el acceso abierto podría impulsar la innovación y el desarrollo de herramientas, a pesar de las preocupaciones sobre el uso indebido.
Llama 2
Llama 2 se anunció el 18 de julio de 2023, en colaboración con Microsoft. Se publicó en tres tamaños: 7 mil millones, 13 mil millones y 70 mil millones de parámetros. La arquitectura permaneció similar a la de Llama 1, pero los datos de entrenamiento se incrementaron en un 40%. A diferencia de su predecesor, los pesos de Llama 2 se hicieron disponibles para uso comercial, sujetos a una política de uso aceptable. Esta política prohíbe ciertas aplicaciones, lo que llevó a la Open Source Initiative a disputar la caracterización de Llama como código abierto por parte de Meta.
Llama 2 también sirvió como base para Code Llama, una versión especializada ajustada para la generación de código. Code Llama se publicó en agosto de 2023 y enero de 2024, con versiones que van de 7 a 70 mil millones de parámetros, entrenadas con conjuntos de datos adicionales específicos de código.
Llama 3
El 18 de abril de 2024, Meta publicó Llama 3 con tamaños de 8 y 70 mil millones de parámetros. Estos modelos se preentrenaron con aproximadamente 15 billones de tokens de texto disponible públicamente, con ajuste fino por instrucciones en más de 10 millones de ejemplos anotados por humanos. Llama 3 de 70 mil millones superó a Gemini Pro 1.5 y Claude 3 Sonnet en muchos puntos de referencia. Los modelos demostraron que el rendimiento continúa mejorando incluso cuando se entrena con datos muy por encima de la cantidad óptima según Chinchilla, con el modelo de 8 mil millones mostrando un escalado log-lineal hasta 15 billones de tokens.
Meta también anunció planes para hacer que Llama 3 fuera multilingüe y multimodal, y para aumentar su ventana de contexto. La versión más reciente, Llama 4, se publicó en abril de 2025, y en abril de 2026, Meta Superintelligence Labs presentó Muse Spark como reemplazo de Llama.
Impacto y recepción
La publicación de Llama 2 y versiones posteriores ha tenido un impacto significativo en el panorama de la IA. Al proporcionar pesos abiertos, Meta permitió a investigadores y desarrolladores ajustar modelos para aplicaciones específicas, fomentando un ecosistema vibrante de herramientas y derivados. Sin embargo, los términos de licencia han provocado debates sobre la definición de código abierto, con críticos argumentando que la política de uso aceptable restringe la libertad.
Los modelos Llama han sido ampliamente adoptados tanto en el ámbito académico como en la industria, con aplicaciones que van desde chatbots hasta generación de código. El rendimiento de los modelos, particularmente en relación con su tamaño, los ha hecho atractivos para organizaciones con recursos computacionales limitados. A partir de 2025, Llama sigue siendo una de las familias de LLM de pesos abiertos más prominentes, influyendo en el desarrollo de modelos posteriores y dando forma a discusiones sobre accesibilidad y gobernanza de la IA.