Llama 2 es una familia de modelos de lenguaje de gran tamaño (LLM) lanzada por Meta AI el 18 de julio de 2023, en colaboración con Microsoft. A diferencia de la primera versión de Llama, que estaba restringida a investigadores académicos bajo una licencia no comercial, Llama 2 se puso a disposición del público con pesos de modelo y una licencia que permitía muchos casos de uso comercial. El lanzamiento incluyó tanto modelos fundacionales como versiones de chat ajustadas por instrucciones, en tamaños de 7, 13 y 70 mil millones de parámetros.
El lanzamiento de Llama 2 fue un evento significativo en el campo de la IA generativa, ya que proporcionó una alternativa competitiva de pesos abiertos a modelos propietarios como GPT-3 y ChatGPT. También provocó un debate sobre el significado de "código abierto" en IA, ya que la licencia de Meta incluía restricciones de uso que algunos argumentaban que se desviaban de la Definición de Código Abierto. El lanzamiento influyó en desarrollos posteriores en el modelado de pesos abiertos, incluido el propio Llama 3 de Meta y otros modelos de empresas como Mistral AI y AI21 Labs.
Antecedentes
El desarrollo de Llama 2 se produjo en un contexto de rápidos avances en los modelos de lenguaje de gran tamaño. Después del lanzamiento de GPT-3 en 2020, los investigadores descubrieron que escalar modelos a tamaños más grandes a menudo conducía a mejoras dramáticas en capacidades como el razonamiento y la generación de código. El lanzamiento de ChatGPT en noviembre de 2022 llevó los LLM a una amplia audiencia pública y desencadenó una carrera industrial para desarrollar y mejorar estos modelos.
La respuesta inicial de Meta fue cautelosa. En una entrevista, el científico jefe de IA Yann LeCun señaló que los LLM eran más adecuados para ayudar con la escritura, en lugar de servir como motores de razonamiento de propósito general. Sin embargo, el éxito de ChatGPT y la posterior filtración del primer modelo Llama en marzo de 2023 llevaron a Meta a reevaluar su estrategia. Al lanzar Llama 2 abiertamente, Meta buscaba competir mientras fomentaba un ecosistema de desarrolladores e investigadores externos.
Anuncio del lanzamiento
Meta anunció Llama 2 el 18 de julio de 2023, en una publicación de blog y un artículo titulado "Llama 2: Open Foundation and Fine-Tuned Chat Models". El lanzamiento fue acompañado por una asociación con Microsoft, que hizo que Llama 2 estuviera disponible en su plataforma en la nube Azure y en el sistema operativo Windows de Microsoft. Meta también proporcionó una guía de uso responsable y una licencia comunitaria que permitía el uso comercial, con estipulaciones como no usar el modelo para mejorar otros modelos de lenguaje de gran tamaño.
El anuncio destacó que Llama 2 fue entrenado con un 40 % más de datos que su predecesor, Llama 1, y que las versiones de chat fueron ajustadas mediante aprendizaje por refuerzo a partir de retroalimentación humana (RLHF), una técnica similar a la utilizada para ChatGPT. Meta informó que el modelo de chat de 70B superó a ChatGPT en algunos puntos de referencia, aunque estas afirmaciones fueron debatidas más tarde.
Arquitectura del modelo y entrenamiento
Llama 2 conserva la misma arquitectura basada en transformadores que Llama 1, pero con ajustes en el entrenamiento. Los modelos utilizan el mismo tokenizador y recuentos de parámetros, pero fueron entrenados con 2 billones de tokens de datos web públicos, en comparación con 1,4 billones para Llama 1. Los datos de entrenamiento incluían mezclas de textos en inglés, código y otras fuentes.
Los tres tamaños - 7B, 13B y 70B - fueron elegidos para adaptarse a diferentes hardware y casos de uso. Los modelos de 7B y 13B pueden ejecutarse en GPU de consumo, mientras que el modelo de 70B requiere recursos computacionales más sustanciales. Meta también lanzó versiones de depuración y cuantizadas para facilitar la inferencia local.
Para los ajustes de chat, Meta utilizó un proceso de múltiples etapas: ajuste fino supervisado en demostraciones humanas, luego RLHF con optimización de política proximal, seguido de muestreo de rechazo. La empresa también implementó medidas de seguridad en los modelos de chat para rechazar indicaciones dañinas, aunque no siempre fueron efectivas.
Licencia abierta y controversia
La licencia de Llama 2 fue aclamada como un paso adelante en comparación con Llama 1, que había estado limitada a investigadores académicos. Sin embargo, la licencia no fue aprobada por la Iniciativa de Código Abierto (OSI), que mantiene la definición oficial de código abierto. La OSI argumentó que las restricciones sobre el uso de Llama 2 para mejorar otros LLM y los límites de usuarios para grandes empresas violaban los principios del código abierto, que requieren que no haya restricciones de campo de uso y que no haya discriminación contra personas o grupos.
Meta continuó usando el término "código abierto" para describir Llama 2, lo que llevó a críticas de algunos desarrolladores e investigadores que sentían que la palabra se estaba diluyendo. Este debate se intensificó con lanzamientos posteriores, ya que el Llama 3 de Meta y otros modelos utilizaron licencias similares.
A pesar de la controversia, la disponibilidad de los pesos de Llama 2 permitió una amplia gama de aplicaciones. Los investigadores pudieron ajustar el modelo para dominios específicos, y las empresas emergentes pudieron construir productos comerciales sin pagar tarifas de licencia, siempre que cumplieran con la política de uso aceptable.
Recepción e impacto
Las reacciones iniciales a Llama 2 fueron mixtas. Muchos elogiaron a Meta por lanzar un modelo potente con menos restricciones, comparándolo con el impacto de Stable Diffusion en la generación de imágenes. Los desarrolladores crearon rápidamente ajustes para codificación, chat y otros propósitos. El modelo fue integrado en plataformas como Hugging Face y AWS y Google Cloud.
Sin embargo, algunos críticos señalaron que el rendimiento de Llama 2, especialmente para el modelo de 70B, no siempre coincidía con el de modelos propietarios como GPT-4 o PaLM 2. Los puntos de referencia independientes mostraron que Llama 2 70B era competitivo con GPT-3.5 en muchas tareas, pero se quedaba atrás en el estado del arte en razonamiento y factualidad.
El lanzamiento también tuvo un impacto en la comunidad de IA en general. Impulsó a otras empresas, como Mistral AI, a lanzar modelos de pesos abiertos, y contribuyó al crecimiento de un ecosistema descentralizado de despliegue de LLM. Además, la disponibilidad de Llama 2 en Microsoft Azure facilitó que las empresas adoptaran IA de pesos abiertos.
Comparación con Llama 1 y sucesores
Llama 2 se diferenciaba de Llama 1 en varios aspectos clave: estaba abierto para uso comercial, incluía ajustes de chat y fue entrenado con más datos. Sin embargo, la arquitectura fue en gran medida sin cambios, y algunos expertos señalaron que las mejoras eran incrementales en lugar de revolucionarias.
Los lanzamientos posteriores se basaron en Llama 2. En agosto de 2023, Meta lanzó Code Llama, un ajuste de Llama 2 especializado en generación de código, en tamaños de 7B, 13B, 34B y 70B. En abril de 2024, Meta presentó Llama 3, con tamaños de 8B y 70B, que utilizó un conjunto de datos de entrenamiento más grande y mostró un rendimiento mejorado. Llama 3 fue seguido por Llama 4 en abril de 2025, que se convirtió en parte del asistente de IA de Meta. Para 2026, Meta Superintelligence Labs lanzó Muse Spark como sucesor.
Legado
El legado de Llama 2 radica en su papel como catalizador del movimiento de pesos abiertos en IA. Demostró que los modelos potentes podían compartirse ampliamente mientras se mantenían controles de seguridad, y proporcionó una alternativa práctica a los modelos cerrados y solo API. El modelo también influyó en las discusiones sobre la definición de código abierto en IA, un debate que continúa a medida que el campo evoluciona.
Para muchos desarrolladores e investigadores, Llama 2 se convirtió en una línea de base para la experimentación e innovación. Su lanzamiento redujo la barrera de entrada para trabajar con modelos de lenguaje de gran tamaño, lo que permitió una ola de ajustes y aplicaciones que podrían no haber existido de otra manera. Incluso a medida que surgían modelos más nuevos, Llama 2 siguió siendo un punto de referencia para comprender las compensaciones entre apertura, capacidad y seguridad en el desarrollo de IA.