LLaMA 3 es una familia de modelos de lenguaje de gran tamaño publicada por Meta AI el 18 de abril de 2024. Es la tercera generación de la serie Llama, que sucede a Llama 2, e incluye dos tamaños de modelo iniciales: 8 mil millones y 70 mil millones de parámetros. Los modelos fueron preentrenados con aproximadamente 15 billones de tokens de texto de fuentes disponibles públicamente, con versiones ajustadas por instrucciones refinadas en conjuntos de datos de instrucciones públicos y más de 10 millones de ejemplos anotados por humanos. LLaMA 3 demostró un rendimiento competitivo frente a modelos propietarios como Gemini Pro 1.5 y Claude 3 Sonnet en muchos puntos de referencia, y Meta anunció planes para hacerlo multilingüe, multimodal y mejor en codificación y razonamiento.
Antecedentes
El desarrollo de LLaMA 3 ocurrió en medio de rápidos avances en IA generativa, tras el éxito de ChatGPT de OpenAI y la publicación de los primeros modelos Llama. El científico jefe de IA de Meta, Yann LeCun, había declarado que los modelos de lenguaje de gran tamaño son más adecuados para ayudar con la escritura, lo que refleja el enfoque de Meta en aplicaciones prácticas. La serie Llama comenzó en febrero de 2023 con el LLaMA original, que inicialmente estaba disponible solo para investigadores bajo una licencia no comercial. Después de una filtración no autorizada de los pesos a través de BitTorrent, versiones posteriores, incluida Llama 2, se hicieron más accesibles con uso comercial permitido.
Arquitectura y entrenamiento del modelo
LLaMA 3 conserva la arquitectura transformador utilizada en los modelos Llama anteriores, pero con mejoras en la escala y calidad de los datos de entrenamiento. Los modelos fueron entrenados con 15 billones de tokens, significativamente más que la cantidad óptima de Chinchilla para sus tamaños. Por ejemplo, el conjunto de datos óptimo de Chinchilla para el modelo de 8B es de 200 mil millones de tokens, pero el rendimiento continuó escalando log-linealmente hasta 75 veces esa cantidad. Este hallazgo empírico destacó los beneficios de entrenar con conjuntos de datos más grandes de lo que se consideraba óptimo anteriormente. El modelo de 70B todavía estaba aprendiendo al final del entrenamiento, pero Meta decidió detenerse para asignar recursos de GPU en otros lugares. Los modelos fueron entrenados usando el optimizador Adam y otras técnicas comunes en aprendizaje profundo.
Publicación y disponibilidad
LLaMA 3 fue publicado el 18 de abril de 2024, con pesos disponibles tanto para las versiones base como para las ajustadas por instrucciones. A diferencia del LLaMA original, que requería aprobación caso por caso, LLaMA 3 se puso a disposición bajo una licencia que permite el uso comercial, aunque con políticas de uso aceptable que algunos argumentan impiden que sea verdaderamente de código abierto. La publicación incluyó un sitio web dedicado para Meta AI, un asistente construido sobre LLaMA 3, e integración en Facebook y WhatsApp. Meta también anunció planes futuros para modelos más grandes y capacidades ampliadas.
Rendimiento y recepción
En las pruebas internas de Meta, LLaMA 3 70B superó a Gemini Pro 1.5 de Google DeepMind y a Claude 3 Sonnet de Anthropic en la mayoría de los puntos de referencia. Mark Zuckerberg informó que el modelo de 8B era casi tan potente como el modelo más grande de Llama 2. La publicación fue bien recibida en la comunidad de IA, con muchos elogiando la disponibilidad abierta de modelos de alto rendimiento. Sin embargo, algunos comentaristas señalaron que las restricciones de la licencia significaban que no era completamente de código abierto, un punto también planteado por la Open Source Initiative. El éxito de LLaMA 3 contribuyó a la proliferación de modelos de pesos abiertos e influyó en publicaciones posteriores, incluida Llama 3.1 en julio de 2024 y Llama 4 en abril de 2025.
Impacto y legado
La publicación de LLaMA 3 reforzó la tendencia de los modelos de pesos abiertos a desafiar a los sistemas propietarios. La escala de sus datos de entrenamiento y su rendimiento demostraron la importancia de la cantidad de datos en el desarrollo de modelos. La disponibilidad del modelo en plataformas como Hugging Face y a través de servicios en la nube como AWS y Azure facilitó una adopción generalizada. En abril de 2026, Meta Superintelligence Labs publicó Muse Spark como reemplazo de Llama, marcando el fin de la serie Llama. No obstante, LLaMA 3 sigue siendo un hito significativo en la evolución de la inteligencia artificial y el aprendizaje automático.