LLaMA 1 (Large Language Model Meta AI) foi o primeiro lançamento da família de modelos de linguagem de grande escala da Meta, anunciado em 24 de fevereiro de 2023. O modelo foi concebido como um modelo fundacional, treinado exclusivamente com dados disponíveis publicamente, e estava disponível em tamanos de parámetros que variaban de 7 bilhões a 65 bilhões. Sua publicação marcou uma mudança significativa no panorama dos modelos de linguagem de grande escala, pois demonstrou um desempeño competitivo frente a sistemas proprietários muito maiores, sendo ao mesmo tempo mais acessível para fins de pesquisa.
A distribuição inicial do LLaMA 1 foi restringida a pesquisadores acadêmicos e laboratorios industriais sob uma licença não comercial, com acesso concedido caso a caso. No entanto, semanas após seu anúncio, os pesos do modelo foram vazados online, levando a uma distribuição não autorizada generalizada e provocando debates sobre o acesso aberto aos sistemas de IA.
Antecedentes e Contexto
O desenvolvimento do LLaMA 1 ocorreu durante um período de intenso interesse nos modelos de linguagem de grande escala, após o lançamento do GPT-3 de OpenAI e o posterior lançamento do ChatGPT. O sucesso desses sistemas destacou o potencial de escalar arquiteturas de redes neuronais, particularmente a arquitetura transformer, que se havia convertido na abordagem dominante no processamento de linguagem natural.
O cientista principal de IA da Meta, Yann LeCun, posicionou os modelos de linguagem de grande escala como particularmente úteis para auxiliar em tarefas de escrita, distinguindo a abordagem da Meta da de competidores que enfatizavam capacidades mais amplas. A empresa visava criar um modelo mais eficiente que pudesse ser executado em hardware menos potente, tornando a pesquisa avançada em IA mais acessível para instituições acadêmicas com recursos computacionais limitados.
Lançamento Inicial e Arquitectura
A primeira versão do LLaMA foi anunciada através de uma publicação de blog e de um artigo de pesquisa que descrevía sua metodología de treinamento, arquitectura e características de desempeño. O código de inferência foi liberado sob a licença de código aberto GPLv3, enquanto os pesos do modelo permaneceram restringidos atrás de um processo de solicitação. Esta abordagem híbrida visava equilibrar a transparencia na pesquisa com preocupações sobre o uso indebido potencial.
Meta treinou LLaMA 1 em múltiples escalas, com a versión de 13 bilhões de parámetros superando ao GPT-3 (175 bilhões de parámetros) na maioria dos benchmarks de PLN. O modelo maior, de 65 bilhões de parámetros, alcanzó resultados competitivos com sistemas de última generación como PaLM e Chinchilla. Os dados de treinamento consistían exclusivamente em fuentes disponíveis públicamente, e os modelos foram desenhados para ser computacionalmente más eficientes que seus contrapartes maiores.
El Vazamento e Suas Consequências
Em 3 de março de 2023, um torrent contendo os pesos do LLaMA foi cargado e compartilhado no imageboard 4chan, com links que posteriormente se espalharam pelas comunidades de IA online. Em questão de dias, foram abertas solicitudes de pull no repositório oficial do LLaMA para adicionar links magnet e referencias ao repositório de HuggingFace. Meta apresentou solicitudes de retirada em 6 de março, caracterizando a distribuição como não autorizada, e HuggingFace atendeu às solicitudes.
Em 20 de março, Meta apresentou uma solicitude de retirada DMCA contra um repositório que contenia um script que descargaba LLaMA de um espelho, e GitHub atendeu à solicitude no dia seguinte. A pesar destes esforços, o modelo permaneció amplamente acessible através de vários sitios espelho e redes de torrent.
Las reacciones al vazamento fueron divididas. Alguns comentaristas expressaron preocupación sobre posibles aplicaciones maliciosas, como la generación de spam sofisticado. Outros celebraron la mayor accesibilidad, señalando que las versiones más pequeñas del modelo podían ejecutarse de manera relativamente económica, potencialmente acelerando la investigación y la innovación. Simon Willison y otros comentaristas hicieron comparaciones con Stable Diffusion, el modelo de texto a imagen distribuido abiertamente que había provocado de manera similar una rápida proliferación de herramientas y técnicas.
Legado e Impacto
El lanzamiento del LLaMA 1 y el posterior vazamento tuvieron efectos duraderos en el ecosistema de la IA. Demostró que los modelos de lenguaje de gran escala podían distribuirse eficazmente fuera de las grandes empresas tecnológicas, desafiando la suposición de que tales sistemas requerían una infraestructura computacional masiva. La arquitectura del modelo y su enfoque de entrenamiento influyeron en los modelos posteriores de pesos abiertos y contribuyeron al creciente movimiento de IA de código abierto.
La experiencia con LLaMA 1 moldeó el enfoque de Meta para lanzamientos posteriores. Llama 2, lanzado el 18 de julio de 2023, en asociación con Microsoft, incluyó tanto modelos fundacionales como modelos ajustados por instrucciones con licencias comerciales más amplias. Llama 3 siguió el 18 de abril de 2024, con modelos entrenados en 15 billones de tokens y un rendimiento mejorado. El linaje continuó con Llama 4 en abril de 2025, y Meta Superintelligence Labs lanzó Muse Spark como reemplazo en abril de 2026.
El legado del LLaMA 1 reside en su demostración de que modelos de lenguaje de gran escala competitivos podían construirse con recuentos de parámetros relativamente modestos y datos disponibles públicamente, al tiempo que destacaba los desafíos de controlar el acceso a sistemas de IA poderosos una vez liberados.