Llama 2 es una familia de modelos de lenguaje de gran tamaño (LLM) desarrollada por Meta AI, publicada el 18 de julio de 2023, en colaboración con Microsoft. Es el sucesor del modelo Llama original e incluye tanto modelos fundacionales como versiones de chat ajustadas por instrucciones. A diferencia de su predecesor, Llama 2 se puso a disposición con pesos para uso comercial amplio, sujeto a una política de uso aceptable, lo que influyó significativamente en el ecosistema de IA de código abierto.
Los modelos Llama 2 forman parte del panorama más amplio de los modelos de lenguaje de gran tamaño, basándose en avances en arquitecturas de transformadores y técnicas de aprendizaje profundo. La publicación se consideró un paso importante hacia la democratización del acceso a una IA potente, ofreciendo una alternativa competitiva a los modelos propietarios de empresas como OpenAI y Google DeepMind.
Antecedentes
El rápido progreso de los modelos de lenguaje de gran tamaño a principios de la década de 2020, que sentó las bases para Llama, está entrelazado con el éxito de las herramientas de IA generativa. La publicación de GPT-3 demostró que aumentar el tamaño del modelo podía producir mejoras drásticas en las capacidades. En noviembre de 2022, OpenAI lanzó ChatGPT, que ganó una atención generalizada y provocó un aumento en la investigación y la inversión en IA.
Meta AI, la rama de investigación de IA de Meta, había estado activa en el campo, con contribuciones notables como la arquitectura de transformadores desarrollada por investigadores de Google DeepMind y otros. El científico jefe de IA de Meta, Yann LeCun, expresó públicamente su escepticismo sobre el entusiasmo en torno a los modelos de lenguaje de gran tamaño, afirmando que son más adecuados para ayudar con tareas de escritura, lo que refleja el enfoque de Meta en hacer que la IA sea más práctica y accesible.
Publicación inicial y filtración
La familia Llama original (Llama 1, estilizado como LLaMA) se anunció el 24 de febrero de 2023, mediante una publicación de blog y un artículo técnico. Estaba disponible en tamaños de 1 mil millones a 65 mil millones de parámetros, entrenada con datos disponibles públicamente. Inicialmente, los pesos del modelo solo eran accesibles para investigadores caso por caso bajo una licencia no comercial.
Sin embargo, los pesos pronto se filtraron en línea. En marzo de 2023, un torrent de los pesos se compartió en 4chan y se difundió rápidamente. Meta envió solicitudes de eliminación a HuggingFace y GitHub para los repositorios que alojaban el modelo, pero la filtración permitió un uso privado y una investigación generalizados. Muchos consideraron la filtración como un punto de inflexión para la IA abierta, con comparaciones con Stable Diffusion que aceleraron la innovación.
Publicación de Llama 2
El 18 de julio de 2023, en colaboración con Microsoft, Meta anunció Llama 2, la próxima generación de la familia Llama. La empresa publicó tres tamaños de parámetros: 7 mil millones, 13 mil millones y 70 mil millones de parámetros. Meta también publicó tanto modelos fundacionales como variantes ajustadas. Específicamente, los ajustes de chat se diseñaron para uso conversacional.
Los modelos se entrenaron con un 40% más de datos que el Llama original, pero la arquitectura permaneció en gran medida sin cambios. Los modelos Llama 2 usaban bloques de redes residuales con mecanismo de atención, beneficiándose de normalización de capas y otras innovaciones. El ajuste de instrucciones utilizó técnicas de estilo RLAIF, combinando ajuste supervisado y retroalimentación humana.
Disponibilidad comercial y licencia
El aspecto más notable de la publicación de Llama 2 fue la decisión de proporcionar los pesos para uso gratuito, para muchas aplicaciones comerciales. Meta publicó los modelos bajo una licencia personalizada que permite el uso, la reproducción y la modificación tanto para fines comerciales como de investigación, con algunas restricciones sobre los casos de uso definidos por la política.
Debido a la política de uso aceptable y otros términos, muchos críticos argumentaron que Llama 2 no era verdadero código abierto según los estándares de la Open Source Initiative (OSI). No obstante, la disponibilidad de un modelo de lenguaje potente abierto para uso comercial fue un hito, permitiendo a organizaciones más pequeñas e individuos construir sobre la tecnología sin depender de API de pago.
La colaboración con Microsoft fue notable, ya que integró la publicación con su infraestructura Azure. Los modelos se pusieron a disposición en el catálogo de modelos de Azure AI, pero también se podían descargar directamente, lo que aumentó la accesibilidad.
Arquitectura del modelo y entrenamiento
Llama 2 empleó una arquitectura similar a la de su predecesor, pero con ajustes en el escalado. El tamaño del modelo alcanzaba hasta 70 mil millones de parámetros, lo que permitía capturar patrones más complejos. El entrenamiento utilizó una mezcla de fuentes, incluyendo páginas web, libros y otros datos públicos, con un enfoque en el filtrado de calidad.
Un aspecto clave del proceso de entrenamiento implica optimizar la pérdida de entropía cruzada, utilizando principios como programación de tasa de aprendizaje y poda de modelos. Meta también incorporó técnicas como abandono y inicialización de pesos para mejorar el rendimiento.
Los modelos de 7B, 13B y 70B están disponibles, con el modelo de 70B diseñado para ejecutarse en múltiples GPU. Llama 2 se evaluó contra modelos contemporáneos como GPT-3 y Chinchilla, logrando resultados competitivos en diversas tareas de referencia, incluyendo razonamiento y codificación.
Impacto en el ecosistema de IA de código abierto
La publicación de Llama 2, con acceso comercial, aceleró significativamente el crecimiento del ecosistema de IA de código abierto. Proporcionó una alternativa a los modelos propietarios, fomentando una comunidad de desarrolladores, investigadores y startups. Muchas empresas, como AI21-Labs y Inflection AI, usaron Llama 2 como base para sus propios modelos.
Además, la publicación se acompañó de la integración en servicios en la nube como Amazon Web Services, Google Cloud y Oracle Cloud, haciendo accesible el despliegue. Además, los fabricantes de hardware AMD, Intel y Qualcomm optimizaron sus chips para ejecutar Llama de manera eficiente.
Derivados y ajustes
Los modelos Llama 2 se ajustaron con frecuencia para diversas aplicaciones. Un ejemplo notable es Code Llama, un ajuste con conjuntos de datos de código especializados. Publicado el 24 de agosto de 2023, inicialmente en versiones de 7B, 13B y 34B, y más tarde una versión de 70B el 29 de enero de 2024. Code Llama se entrenó con 500 mil millones de tokens de datos de código, basándose en el modelo fundacional. La comunidad de IA generativa produjo muchos otros ajustes, como modelos para escritura creativa, asistencia legal y consejo médico.
La accesibilidad de los pesos del modelo permitió a los investigadores aplicar técnicas como poda de modelos, cuantización y pesos, haciendo posible que pequeñas empresas de IA e instituciones educativas estudiaran y adaptaran la tecnología.
Respuesta y críticas
Las reacciones a Llama 2 fueron generalmente positivas, pero también preocupantes. Los partidarios elogiaron su potencial para democratizar la IA y fomentar la innovación, señalando que podía competir con modelos comerciales como GPT-3.5. Sin embargo, algunos críticos señalaron que las restricciones de la licencia aún no eran completamente "abiertas" según lo definido, limitando así su grado de libertad.
La política de uso aceptable restringía aplicaciones en áreas como vigilancia, spam y malware. Esto se debatió como un esfuerzo para prevenir el mal uso, pero también limitaba la flexibilidad.
Algunos investigadores también señalaron las preocupaciones ambientales y de recursos del entrenamiento de modelos grandes como Llama 2. El entrenamiento requería una potencia computacional significativa, lo que planteaba problemas éticos y prácticos.
Legado y futuro
Llama 2 estableció un nuevo estándar para la IA abierta, lo que llevó a la publicación posterior de Llama 3 en abril de 2024. La publicación tuvo un efecto duradero en la industria, empujando a los principales laboratorios comerciales a reconsiderar cómo se podían compartir los modelos. También fomentó el crecimiento de la colección de IA abierta como base para otros productos.
El enfoque de Llama 2 de proporcionar pesos con restricciones ha sido adoptado por otros desarrolladores para construir asistentes de IA como Meta AI, que ahora se basa en Llama 3. A finales de 2025, Llama es una familia de modelos, y a pesar de la aparición de nuevos modelos, Llama 2 sigue siendo un hito fundacional.
Resumen
En resumen, el anuncio de Meta Llama 2 fue un evento significativo en el avance de la IA generativa. Al combinar un rendimiento sólido con pesos permisivos, la decisión de Meta ayudó a dar forma al ecosistema de IA abierta. El evento se cita a menudo como uno de los factores que avivaron el interés en la IA comercial.
Desde su publicación, Llama 2 marcó una desviación de las prácticas más restrictivas de otros modelos de IA, y su impacto fue generalizado.