Meta Llama 3 es una familia de modelos de lenguaje de gran tamaño publicada por Meta AI el 18 de abril de 2024. El lanzamiento inicial incluyó dos tamaños de modelo: 8 mil millones y 70 mil millones de parámetros, ambos disponibles como variantes base y ajustadas por instrucciones. Llama 3 fue notable por su entrenamiento previo a gran escala con aproximadamente 15 billones de tokens de texto disponible públicamente, y por su rendimiento competitivo frente a modelos propietarios contemporáneos. Una versión posterior, Llama 3.1, amplió la familia para incluir un modelo de 405 mil millones de parámetros, lanzado el 23 de julio de 2024. La serie Llama 3 representó un paso significativo en la estrategia de Meta de desarrollo de IA de pesos abiertos, basándose en los lanzamientos anteriores de Llama 1 y Llama 2.
Los modelos Llama 3 fueron diseñados para ser ampliamente accesibles, con pesos liberados bajo una licencia comunitaria que permitía el uso comercial, una desviación de la licencia más restrictiva del Llama original. El lanzamiento también acompañó el despliegue de Meta AI, un asistente integrado en Facebook y WhatsApp, demostrando la aplicación práctica de los modelos. Los modelos fueron entrenados con un conjunto de datos diverso y mostraron un fuerte rendimiento en puntos de referencia de razonamiento, codificación y conocimiento general, posicionándolos como una alternativa competitiva a modelos de OpenAI, Anthropic y Google DeepMind.
Antecedentes y Contexto
El desarrollo de Llama 3 ocurrió en un contexto de rápido avance en la investigación de Large language model, catalizado por el éxito de ChatGPT a finales de 2022. Tras el lanzamiento de GPT-3 de OpenAI y la posterior popularidad de ChatGPT, el campo vio un aumento en los esfuerzos por escalar modelos, con algunos demostrando capacidades emergentes en razonamiento y seguimiento de instrucciones. La respuesta inicial de Meta, Llama 1, se lanzó en febrero de 2023 como un modelo enfocado en la investigación, con pesos disponibles solo para investigadores académicos aprobados. La filtración del modelo en marzo de 2023, que se difundió a través de BitTorrent, destacó la demanda de acceso abierto y llevó a una discusión más amplia sobre el papel de los modelos abiertos en el desarrollo de IA.
Llama 2, lanzado en julio de 2023 en asociación con Microsoft, marcó un cambio hacia un acceso más abierto, permitiendo el uso comercial bajo una licencia permisiva. Esto preparó el escenario para Llama 3, que buscaba empujar los límites de los modelos de pesos abiertos en términos de escala y capacidad. El lanzamiento de Llama 3 también llegó en un momento en que la Generative AI se estaba convirtiendo en un enfoque principal, con grandes inversiones de proveedores de nube y empresas de hardware.
Arquitectura del Modelo y Entrenamiento
Los modelos Llama 3 se basan en la arquitectura Transformer (architecture), el diseño dominante para modelos de lenguaje modernos de gran tamaño. La arquitectura incorpora mejoras sobre versiones anteriores de Llama, incluyendo un tamaño de vocabulario más grande (128,256 tokens) y una longitud de contexto aumentada de 8,192 tokens, que se extendió posteriormente en actualizaciones subsiguientes. Los modelos utilizan un diseño estándar de solo decodificador con Multi-Head Attention y Positional Encoding, y fueron entrenados con un objetivo de predicción del siguiente token.
Una característica clave del entrenamiento de Llama 3 fue la escala de datos. Los modelos fueron preentrenados con aproximadamente 15 billones de tokens de texto de fuentes públicas, un aumento sustancial sobre los 2 billones de tokens utilizados para Llama 2. Los datos de entrenamiento fueron curados para enfatizar fuentes de alta calidad, incluyendo páginas web, libros y artículos científicos, con un enfoque en contenido multilingüe y de código. Las versiones ajustadas por instrucciones fueron además afinadas con conjuntos de datos de instrucciones públicos y más de 10 millones de ejemplos anotados por humanos, utilizando técnicas como Reinforcement Learning from AI Feedback (RLAIF) (aprendizaje por refuerzo con retroalimentación de IA) y ajuste fino supervisado.
En cuanto a las leyes de escala, el equipo de Llama 3 observó que el rendimiento continuaba mejorando log-linealmente incluso al entrenar mucho más allá del número óptimo de tokens según Chinchilla. Para el modelo de 8B, el tamaño de conjunto de datos óptimo según Chinchilla se estimó en 200 mil millones de tokens, pero el modelo continuó beneficiándose del entrenamiento con los 15 billones completos, indicando que conjuntos de datos más grandes pueden generar ganancias más allá de las recomendaciones convencionales.
Rendimiento y Puntos de Referencia
En las evaluaciones internas de Meta realizadas en abril de 2024, el modelo Llama 3 de 70B superó a varios modelos propietarios líderes en una variedad de puntos de referencia. Específicamente, superó a Gemini Pro 1.5 de Google DeepMind y a Claude 3 Sonnet de Anthropic en la mayoría de las tareas estándar de PNL, incluyendo razonamiento, codificación y conocimiento general. El modelo de 8B, aunque más pequeño, fue reportado por el CEO de Meta, Mark Zuckerberg, como casi tan potente como el modelo más grande de Llama 2 (70B), demostrando las ganancias de eficiencia del conjunto de datos de entrenamiento más grande.
Los modelos mostraron un rendimiento particularmente fuerte en generación de código y razonamiento matemático, áreas críticas para aplicaciones prácticas. El modelo de 405B, lanzado posteriormente como parte de Llama 3.1, mejoró aún más estos resultados, logrando un rendimiento de vanguardia en muchos puntos de referencia, rivalizando con modelos como GPT-4 y Claude 3.5 Sonnet.
Lanzamiento y Disponibilidad
El lanzamiento inicial de Llama 3 el 18 de abril de 2024 incluyó los modelos de 8B y 70B, con versiones base y ajustadas por instrucciones. Los modelos se hicieron disponibles para descarga a través del sitio web de Meta y plataformas asociadas como Hugging Face (aunque no se lista, el slug no se proporciona, por lo que no hay enlace). Los pesos se liberaron bajo la Licencia Comunitaria Llama 3, que permite el uso comercial pero incluye una política de uso aceptable que restringe ciertas aplicaciones, como el uso militar o la generación de contenido dañino. Esta licencia no se considera de código abierto por la open-source-initiative (aunque no está en la lista, por lo que no hay enlace), pero es permisiva en comparación con muchos modelos propietarios.
Meta también integró Llama 3 en su asistente de IA, Meta AI, que estuvo disponible en Facebook, WhatsApp y un sitio web dedicado. Esta integración permitió a los usuarios interactuar directamente con los modelos, mostrando sus capacidades en tareas de chat, escritura y codificación. El lanzamiento fue acompañado por asociaciones con proveedores de nube, incluyendo Amazon Web Services, Microsoft Azure, Google Cloud y Oracle Cloud Infrastructure, haciendo los modelos accesibles a través de servicios gestionados.
Ecosistema y Soporte de Hardware
La naturaleza de pesos abiertos de Llama 3 facilitó una adopción rápida en todo el ecosistema de IA. Los fabricantes de hardware optimizaron sus plataformas para la inferencia de Llama 3, incluyendo AMD, Intel y NVIDIA (aunque no están en la lista, por lo que no hay enlace). Empresas especializadas en chips de IA como Groq y SambaNova proporcionaron soluciones de inferencia de alta velocidad, mientras que Qualcomm y Arm Holdings se centraron en el despliegue en el borde. Los proveedores de nube ofrecieron entornos preconfigurados, y AWS Trainium y otros silicios personalizados se utilizaron para el ajuste fino y el entrenamiento.
Los modelos también se integraron en varios marcos y herramientas de software, permitiendo a los desarrolladores construir aplicaciones con un esfuerzo mínimo. La disponibilidad de múltiples tamaños de modelo permitió el despliegue en una variedad de hardware, desde dispositivos de borde hasta centros de datos, haciendo de Llama 3 una opción versátil tanto para la investigación como para la producción.
Impacto y Recepción
El lanzamiento de Llama 3 fue recibido con un interés significativo por parte de la comunidad de IA, con muchos elogiando el rendimiento de los modelos y la apertura de los pesos. Se vio como un contrapunto a los enfoques cerrados de OpenAI y Anthropic, proporcionando una alternativa para investigadores y desarrolladores que preferían transparencia y control. El fuerte rendimiento de los modelos en los puntos de referencia también elevó el listón para los modelos de pesos abiertos, impulsando a otras organizaciones a acelerar sus propios esfuerzos de desarrollo.
Sin embargo, el lanzamiento también provocó discusiones sobre el posible mal uso de los modelos abiertos, incluyendo preocupaciones sobre desinformación, spam y otros usos maliciosos. La decisión de Meta de incluir una política de uso aceptable fue un intento de mitigar estos riesgos, pero los críticos argumentaron que tales políticas son difíciles de hacer cumplir una vez que los pesos están públicamente disponibles. El debate hizo eco de discusiones anteriores tras la filtración de Llama 1.
Desarrollos Futuros
Tras el lanzamiento inicial, Meta continuó iterando sobre la familia Llama 3. Llama 3.1, lanzado el 23 de julio de 2024, introdujo el modelo de 405B y extendió la longitud de contexto a 128,000 tokens, permitiendo razonamiento de forma más larga y procesamiento de documentos. El modelo de 405B fue entrenado utilizando una combinación de poda de datos y técnicas de Model Pruning para mejorar la eficiencia. Meta también anunció planes para hacer Llama 3 multilingüe y multimodal, con soporte para comprensión de imágenes y video, así como capacidades mejoradas de codificación y razonamiento.
En abril de 2025, Meta lanzó Llama 4, la siguiente generación de la familia, que expandió aún más los tamaños de modelo e introdujo arquitecturas de mezcla de expertos. Mirando hacia adelante, Meta Superintelligence Labs lanzó Muse Spark en abril de 2026 como un reemplazo para Llama, señalando un cambio en la estrategia de IA de la empresa. A pesar de esto, Llama 3 sigue siendo un hito significativo en la evolución de los modelos de lenguaje abiertos de gran tamaño, influyendo en la investigación y el desarrollo posteriores en todo el campo.
Conclusión
Meta Llama 3 representó un avance importante en los modelos de lenguaje de gran tamaño de pesos abiertos, combinando entrenamiento a gran escala con rendimiento competitivo y amplia accesibilidad. Su lanzamiento catalizó la adopción de modelos abiertos tanto en la investigación como en la industria, y su impacto continúa sintiéndose en el desarrollo en curso de tecnologías de Artificial intelligence. El éxito de los modelos subrayó la viabilidad de los enfoques abiertos en un campo a menudo dominado por sistemas propietarios, y estableció un precedente para futuros lanzamientos.