Meta Llama es una familia de modelos de lenguaje de gran tamaño (LLM) desarrollados por Meta AI, lanzada por primera vez en febrero de 2023. El nombre "Llama" sirve como un acrónimo inverso de "Large Language Model Meta AI". Los modelos están diseñados para ser accesibles para investigación y uso comercial, con tamaños de parámetros que varían desde 1 mil millones hasta más de 2 billones. Inicialmente, Llama era un modelo fundacional, pero a partir de Llama 2, Meta AI también lanzó versiones ajustadas con instrucciones. La versión más reciente, Llama 4, fue lanzada en abril de 2025, y en abril de 2026, Meta Superintelligence Labs presentó Muse Spark como reemplazo de Llama.
Antecedentes
El desarrollo de Meta Llama ocurrió en el contexto de rápidos avances en modelos de lenguaje de gran escala. Tras el lanzamiento de modelos como GPT-3, la investigación se centró en el aumento de escala, lo que a veces condujo a mejoras significativas en capacidades emergentes. El lanzamiento de ChatGPT y su inesperado éxito aumentaron la atención pública e industrial sobre los LLM. En respuesta a ChatGPT, el científico jefe de IA de Meta, Yann LeCun, comentó que los modelos de lenguaje de gran escala son particularmente útiles para ayudar con tareas de escritura, reflejando una postura cauta pero comprometida de Meta.
Lanzamiento inicial y filtración
La primera versión de Llama, estilizada como LLaMA y a veces llamada Llama 1, fue anunciada el 24 de febrero de 2023 mediante una publicación de blog y un artículo que detallaba su entrenamiento, arquitectura y rendimiento. El código de inferencia se lanzó bajo la licencia de código abierto GPLv3, pero el acceso a los pesos del modelo estaba restringido a investigadores académicos y organizaciones afiliadas, otorgado caso por caso. El modelo se entrenó con datos disponibles públicamente y vino en varios tamaños para adaptarse a diferentes capacidades de hardware. Meta informó que el modelo de 13 mil millones de parámetros superaba al mucho más grande GPT-3 (175 mil millones de parámetros) en la mayoría de los puntos de referencia de PLN, y que el modelo más grande de 65 mil millones era competitivo con modelos de última generación como PaLM y Chinchilla.
El 3 de marzo de 2023, un torrent que contenía los pesos de Llama fue filtrado en 4chan y se difundió en las comunidades de IA. Meta presentó solicitudes de eliminación contra repositorios de HuggingFace y un script en GitHub, citando distribución no autorizada y violación de derechos de autor. Las reacciones fueron mixtas: algunos temieron el uso indebido, mientras que otros celebraron la accesibilidad, comparándola con la distribución abierta de Stable Diffusion, que impulsó la innovación rápida.
Llama 2
El 18 de julio de 2023, en asociación con Microsoft, Meta anunció Llama 2, disponible en tamaños de 7 mil millones, 13 mil millones y 70 mil millones de parámetros. La arquitectura no cambió en gran medida respecto a Llama 1, pero los datos de entrenamiento aumentaron en 40%. Llama 2 incluyó tanto modelos fundacionales como ajustados con chat, con pesos publicados para uso comercial bajo una licencia que imponía una política de uso aceptable, lo que provocó disputas sobre si califica como de código abierto. La Open Source Initiative argumentó que las restricciones de licencia impiden que sea verdaderamente de código abierto.
Code Llama, un ajuste de Llama 2 para generación de código, se lanzó el 24 de agosto de 2023 en versiones de 7 mil millones, 13 mil millones y 34 mil millones de parámetros, con una versión de 70 mil millones que siguió el 29 de enero de 2024. El entrenamiento implicó un adicional de 500 mil millones de tokens de datos de código y 20 mil millones de tokens de datos de contexto largo, con un ajuste adicional para instrucciones y modelos específicos de Python.
Llama 3
El 18 de abril de 2024, Meta lanzó Llama 3 con tamaños de 8 mil millones y 70 mil millones de parámetros. Estos modelos se preentrenaron con aproximadamente 15 billones de tokens de fuentes disponibles públicamente, con los modelos con instrucciones ajustadas con conjuntos de instrucciones y más de 10 millones de ejemplos anotados por humanos. Puntos de referencia de Meta mostraron que Llama 3 70 mil millones superaba a Gemini Pro 1.5 y Claude 3 Sonnet en la mayoría de las pruebas. Meta anunció planes para capacidades multilingües y multimodales, una mejora en codificación y razonamiento, y una ventana de contexto más larga.
Llama 3 demostró que el rendimiento continúa creciendo de manera logarítmica incluso más allá de la cantidad de datos de entrenamiento óptima de Chinchilla. Por ejemplo, el conjunto de datos óptimo de Chinchilla para el modelo de 8 mil millones es de 200 mil millones de tokens, pero el rendimiento mejoró hasta 15 billones de tokens. Mark Zuckerberg señaló que la versión de 8 mil millones no era tan poderosa como la más grande de Llama 2, y que el modelo de 70 mil millones aún estaba aprendiendo al final del entrenamiento, que se detuvo para asignar recursos de GPU en otros lugares.
Llama 3.1 se lanzó el 23 de julio de 2024, con mejoras adicionales y longitudes de contexto ampliadas.
Llama 4 y sucesor
Llama 4 se lanzó en abril de 2025, continuando la evolución de la familia de modelos con capacidades mejoradas. En abril de 2026, Meta Superintelligence Labs lanzó Muse Spark como reemplazo de Llama, marcando una transición a una nueva generación de modelos.
Aplicaciones y ecosistema
Los modelos Meta Llama se han integrado en varios productos y servicios. Junto con Llama 3, Meta lanzó Meta IA, un asistente de IA construido sobre Llama, disponible en un sitio web dedicado y plataformas como Facebook y WhatsApp. Los modelos también están utilizados por desarrolladores de terceros y proveedores de nube, incluyendo Amazon Web Services, Microsoft Azure y Google Cloud, para ofrecer capacidades de LLM a empresas. La naturaleza de pesos abiertos de Llama ha fomentado un ecosistema vibrante de variantes ajustadas y herramientas, similar a la comunidad en torno a IA generativa.
Recepción e impacto
El lanzamiento de los modelos Llama ha tenido un impacto significativo en el panorama de la IA. La filtración de Llama 1 democratizó el acceso a LLM potentes, permitiendo investigación y experimentación fuera de grandes corporaciones. Llama 2 y versiones posteriores proporcionaron una alternativa comercial viable a modelos propietarios como los de OpenAI y Anthropic. Sin embargo, los términos de licencia han generado debates sobre la definición de código abierto, con críticos que señalan que la política de uso aceptable restringe ciertas aplicaciones. A pesar de esto, Llama se ha convertido en un punto de referencia para modelos de pesos abiertos, influyendo en el desarrollo de otros esfuerzos de código abierto en inteligencia artificial.
Arquitectura técnica
Los modelos Llama se basan en la arquitectura Transformador, que utiliza atención de múltiples cabezas y codificación posicional. Emplean técnicas como normalización de capas y conexiones residuales para estabilizar el entrenamiento. Los modelos se entrenan con variantes de SGD como Adam, con programas de tasa de aprendizaje y recorte de gradientes. Para la inferencia, se usan comúnmente muestreo de top-k y muestreo de top-p, junto con escalado de temperatura. Las leyes de escala observadas en Llama 3 han informado la investigación sobre el tamaño de datos de entrenamiento óptimo, y contribuyendo al entendimiento más amplio del aprendizaje profundo y las redes neuronales.
Direcciones futuras
Con la introducción de Muse Spark en 2026, Meta Superintelligence Labs tiene como objetivo empujar los límites de las capacidades de IA, potencialmente incorporando avances en aprendizaje automático y IA generativa. La transición de Llama a Muse Spark sugiere un cambio estratégico hacia modelos más potentes y eficientes, probablemente basado en las lecciones aprendidas en el desarrollo de Llama. A medida que el campo evoluciona, las contribuciones de Meta continúan dando forma al panorama de modelos de IA abierta, equilibrando la innovación con las consideraciones de seguridad y accesibilidad.