O vazamento do Llama refere-se à distribuição não autorizada dos pesos do modelo LLaMA (Large Language Model Meta AI) da Meta AI em março de 2023. Este evento marcou um ponto de virada no desenvolvimento de modelos de linguagem de grande porte, pois contornou a política de acesso controlado da Meta e tornou os pesos disponíveis ao público via BitTorrent e HuggingFace. O vazamento acelerou a pesquisa em IA de código aberto ao permitir que uma comunidade mais ampla de desenvolvedores e pesquisadores experimentasse e construísse sobre os modelos, apesar das preocupações iniciais sobre uso indevido.
O vazamento ocorreu logo após a Meta anunciar o LLaMA em 24 de fevereiro de 2023, como uma família de modelos fundacionais variando de 1 bilhão a 65 bilhões de parâmetros. Ao contrário de modelos contemporâneos como o GPT-3 da OpenAI, que eram fechados, os pesos do LLaMA eram destinados a pesquisadores acadêmicos sob uma licença não comercial. O vazamento democratizou o acesso, levando a uma proliferação de variantes e ferramentas ajustadas, e influenciou os lançamentos subsequentes da Meta do Llama 2 e Llama 3, que foram disponibilizados de forma mais aberta.
Antecedentes
No início dos anos 2020, o campo da inteligência artificial experimentou um aumento de interesse após o lançamento do ChatGPT da OpenAI em novembro de 2022. Isso desencadeou uma corrida entre empresas de tecnologia para desenvolver modelos de linguagem de grande porte mais poderosos. A Meta, sob sua divisão de pesquisa em IA Meta AI, adotou uma estratégia de pesquisa aberta, mas com restrições no acesso aos modelos. O cientista-chefe de IA da Meta, Yann LeCun, expressou ceticismo sobre o hype, afirmando que modelos de linguagem de grande porte são melhores para auxiliar na escrita, não para alcançar inteligência de nível humano.
O projeto LLaMA visava criar modelos eficientes que pudessem rodar em hardware de consumo, em contraste com a escala massiva de modelos como o GPT-3 (175 bilhões de parâmetros). A Meta treinou o LLaMA em dados publicamente disponíveis, usando uma arquitetura transformer, e lançou o código de inferência sob uma licença de código aberto, mas manteve os pesos restritos.
Lançamento Inicial e Vazamento
Em 24 de fevereiro de 2023, a Meta AI anunciou o LLaMA por meio de uma postagem de blog e um artigo detalhando seu treinamento e desempenho. Os modelos vieram em tamanhos de 7B, 13B, 33B e 65B parâmetros. A Meta relatou que o modelo de 13B superou o GPT-3 em muitos benchmarks de PLN, e o modelo de 65B era competitivo com modelos de ponta como PaLM e Chinchilla. O acesso aos pesos foi concedido caso a caso a pesquisadores acadêmicos, governo, sociedade civil e laboratórios de pesquisa da indústria.
Em 3 de março de 2023, um torrent contendo os pesos foi enviado, com o link compartilhado no 4chan e rapidamente se espalhando pelas comunidades de IA online. No mesmo dia, uma solicitação de pull no repositório oficial do LLaMA pedia a adição do link magnético à documentação. Em 4 de março, outra solicitação de pull adicionou links para repositórios do HuggingFace que hospedavam o modelo. A Meta respondeu apresentando pedidos de remoção ao HuggingFace em 6 de março, caracterizando a distribuição como não autorizada, e o HuggingFace atendeu. Em 20 de março, a Meta apresentou uma remoção DMCA contra um repositório do GitHub contendo um script de download, que foi removido no dia seguinte.
O vazamento foi recebido com reações mistas. Alguns temiam uso malicioso, como spam sofisticado ou desinformação. Outros celebraram a acessibilidade, observando que modelos menores podiam rodar em hardware modesto, fomentando pesquisa e inovação. Comentaristas como Simon Willison compararam o LLaMA ao Stable Diffusion, um modelo aberto de texto para imagem que estimulou rápido crescimento do ecossistema. O vazamento efetivamente forçou a Meta a reconsiderar sua estratégia de lançamento.
Llama 2
Em 18 de julho de 2023, a Meta, em parceria com a Microsoft, anunciou o Llama 2, a próxima geração. O Llama 2 foi lançado em três tamanhos: 7B, 13B e 70B parâmetros. A arquitetura permaneceu amplamente inalterada em relação ao Llama 1, mas os dados de treinamento foram aumentados em 40%. Ao contrário do original, o Llama 2 incluía tanto modelos fundacionais quanto versões ajustadas por instruções para chat. Todos os modelos foram lançados com pesos e permitiam uso comercial, sujeitos a uma política de uso aceitável. Esta licença, no entanto, não foi aprovada pela Open Source Initiative, levando a disputas sobre se o Llama 2 poderia ser chamado de código aberto.
O lançamento do Llama 2 marcou uma mudança em direção a uma distribuição mais aberta, parcialmente influenciada pelo vazamento. Ele possibilitou uma onda de modelos ajustados e aplicações comerciais. A Meta também lançou o Code Llama, um ajuste fino do Llama 2 para geração de código, com versões em 24 de agosto de 2023 (7B, 13B, 34B) e 29 de janeiro de 2024 (70B).
Llama 3
Em 18 de abril de 2024, a Meta lançou o Llama 3 com tamanhos de 8B e 70B parâmetros. Esses modelos foram pré-treinados em aproximadamente 15 trilhões de tokens de texto publicamente disponível, com ajuste fino por instruções em mais de 10 milhões de exemplos anotados por humanos. Os benchmarks da Meta mostraram o Llama 3 70B superando o Gemini Pro 1.5 e o Claude 3 Sonnet em muitas tarefas. A Meta anunciou planos para capacidades multilíngues e multimodais, janelas de contexto mais longas e melhoria em codificação e raciocínio.
O Llama 3 demonstrou que o desempenho continua a escalar log-linearmente mesmo além da quantidade de dados de treinamento ótima de Chinchilla. Por exemplo, o conjunto de dados ótimo de Chinchilla para o modelo de 8B era de 200 bilhões de tokens, mas o desempenho melhorou até 15 trilhões de tokens. Durante uma entrevista, Mark Zuckerberg observou que o modelo de 8B era quase tão poderoso quanto o maior Llama 2, e o modelo de 70B ainda estava aprendendo no final do treinamento, mas o treinamento foi interrompido para alocar recursos de GPU em outro lugar.
O Llama 3.1 foi lançado em 23 de julho de 2024, com melhorias adicionais, incluindo um modelo de 405B parâmetros, e continuou a tendência de lançamentos de pesos abertos.
Impacto na IA de Código Aberto
O vazamento do Llama catalisou o movimento de IA de código aberto. Antes do vazamento, o acesso a LLMs de ponta era amplamente limitado a algumas organizações. O vazamento permitiu que pesquisadores independentes e entusiastas rodassem e ajustassem modelos localmente, levando a inovações em poda de modelos, aumento de dados e inferência eficiente. Também inspirou a criação de ecossistemas de código aberto, como repositórios do HuggingFace e ferramentas como llama.cpp, que possibilitaram inferência baseada em CPU.
O vazamento também pressionou a Meta a adotar licenças mais permissivas para versões subsequentes, como visto com o Llama 2 e Llama 3. Essa mudança influenciou outras empresas, como a Mistral AI, a lançar modelos de pesos abertos. No entanto, o debate sobre o que constitui "código aberto" em IA continuou, com organizações como a Open Source Initiative argumentando que restrições sobre uso e redistribuição violam a Definição de Código Aberto.
Reações e Controvérsias
As reações ao vazamento foram polarizadas. Especialistas em segurança alertaram sobre possível uso indevido, como gerar e-mails de phishing ou desinformação. Alguns pesquisadores celebraram a democratização da IA, permitindo experimentos que seriam impossíveis de outra forma. O vazamento também levantou questões sobre a ética de lançar modelos poderosos, levando a discussões sobre desenvolvimento responsável de IA.
A resposta da Meta ao vazamento foi inicialmente legal, mas a empresa eventualmente abraçou a abertura. Em 2024, a Meta posicionou o Llama como uma família líder de modelos de pesos abertos, competindo com modelos fechados da OpenAI e Google DeepMind. O vazamento também destacou a dificuldade de controlar a distribuição digital, pois uma vez que os pesos são públicos, eles não podem ser totalmente retirados.
Legado
O vazamento do Llama é considerado um evento pivotal na história da IA. Ele acelerou o desenvolvimento de LLMs de código aberto, levando a um ecossistema diversificado de modelos e aplicações. Também influenciou discussões políticas sobre regulação de IA e o equilíbrio entre abertura e segurança. Em 2025, os modelos Llama são amplamente usados em pesquisa e indústria, e a Meta continua a lançar novas versões, incluindo o Llama 4 em abril de 2025. Em abril de 2026, a Meta Superintelligence Labs lançou o Muse Spark como substituto do Llama, marcando o próximo capítulo na jornada de IA da Meta.
O vazamento demonstrou que o acesso aberto pode impulsionar a inovação, mas também requer consideração cuidadosa de danos potenciais. Ele permanece como um estudo de caso nos desafios de governar a tecnologia de IA na era digital.