O vazamento do Meta Llama refere-se à distribuição não autorizada dos pesos do modelo LLaMA (Large Language Model Meta AI), uma família de modelos de linguagem de grande porte desenvolvida pela Meta AI. Em 3 de março de 2023, um torrent contendo os pesos foi carregado e compartilhado no 4chan, tornando o modelo acessível ao público, apesar da política inicial de acesso caso a caso da Meta. O vazamento teve implicações significativas para a comunidade de IA de código aberto, levando a experimentos generalizados e influenciando a decisão subsequente da Meta de lançar o Llama 2 sob uma licença mais permissiva.
O LLaMA foi anunciado em 24 de fevereiro de 2023 como uma série de modelos de fundação variando de 7 bilhões a 65 bilhões de parâmetros. A Meta o posicionou como uma ferramenta de pesquisa, concedendo acesso apenas a pesquisadores acadêmicos e laboratórios da indústria. O vazamento contornou essas restrições, permitindo que desenvolvedores em todo o mundo executassem e ajustassem os modelos em hardware de consumo, o que impulsionou uma onda de inovação e debate sobre a acessibilidade de sistemas de IA poderosos.
Antecedentes
No início dos anos 2020, o lançamento do GPT-3 e o subsequente lançamento do ChatGPT em novembro de 2022 destacaram as capacidades dos modelos de linguagem de grande porte. Pesquisadores se concentraram em escalar modelos, observando habilidades emergentes como raciocínio e tradução. O cientista-chefe de IA da Meta, Yann LeCun, expressou ceticismo sobre o domínio dos LLMs, sugerindo que eles eram mais adequados para assistência de escrita do que para inteligência geral. Apesar disso, a Meta prosseguiu com sua própria pesquisa em LLMs, levando à criação do LLaMA.
Lançamento Inicial e Política de Acesso
A primeira versão do LLaMA foi introduzida por meio de uma postagem de blog e um artigo detalhando seu treinamento, arquitetura e desempenho. O código de inferência foi disponibilizado sob a licença GPLv3, mas os pesos foram protegidos por um processo de solicitação. A Meta visava fornecer acesso a pesquisadores acadêmicos, entidades governamentais e laboratórios da indústria, com aprovação caso a caso. O modelo foi treinado em dados publicamente disponíveis, e a Meta relatou que a versão de 13B parâmetros superou o GPT-3 em muitos benchmarks, enquanto o modelo de 65B rivalizava com sistemas de ponta como PaLM e Chinchilla.
O Vazamento
Em 3 de março de 2023, um torrent contendo os pesos do LLaMA foi carregado, com um link compartilhado no 4chan e posteriormente em comunidades de IA. Dentro de dias, solicitações de pull no repositório oficial do Llama adicionaram links magnet e repositórios do HuggingFace hospedando o modelo. A Meta respondeu enviando solicitações de remoção ao HuggingFace em 6 de março, citando distribuição não autorizada, e uma solicitação DMCA contra um repositório do GitHub em 20 de março. Os vazamentos foram amplamente discutidos; alguns temiam uso malicioso, enquanto outros celebravam a democratização da IA. Comentaristas compararam o evento ao lançamento do Stable Diffusion, que havia acelerado de forma semelhante o desenvolvimento de IA generativa.
Impacto na IA de Código Aberto
O vazamento permitiu que pesquisadores e entusiastas ajustassem o LLaMA para várias tarefas, levando a avanços rápidos em aplicações de IA generativa. Modelos menores podiam rodar em GPUs de consumo, reduzindo as barreiras de entrada. Esse período viu o surgimento de inúmeras variantes ajustadas e ferramentas, fomentando um ecossistema vibrante. O vazamento também pressionou a Meta a reconsiderar sua estratégia de distribuição, já que o gato já tinha saído do saco.
Llama 2 e Comercialização
Em 18 de julho de 2023, a Meta anunciou o Llama 2 em parceria com a Microsoft, lançando modelos de 7B, 13B e 70B parâmetros. Ao contrário do original, o Llama 2 incluía versões de fundação e ajustadas para conversação, e os pesos foram disponibilizados para uso comercial sob uma licença personalizada. Essa licença, no entanto, impôs restrições de uso aceitável, levando a Open Source Initiative a contestar o uso do termo "código aberto" pela Meta. O Llama 2 foi treinado com 40% mais dados que seu antecessor, e seu lançamento marcou uma mudança em direção a maior acessibilidade.
O Code Llama, uma variante especializada para programação, foi lançado em 24 de agosto de 2023, com tamanhos de 7B, 13B e 34B, seguido por uma versão de 70B em 29 de janeiro de 2024. Esses modelos foram ajustados em conjuntos de dados de código e demonstraram desempenho melhorado em tarefas de codificação.
Llama 3 e Além
Em 18 de abril de 2024, a Meta lançou o Llama 3 em tamanhos de 8B e 70B parâmetros, treinado em aproximadamente 15 trilhões de tokens. Os modelos mostraram desempenho forte, superando concorrentes como Gemini Pro 1.5 e Claude 3 Sonnet em muitos benchmarks. Notavelmente, o Llama 3 demonstrou que o desempenho continuava a melhorar mesmo quando os dados de treinamento excediam a quantidade ótima de Chinchilla, uma descoberta que influenciou práticas de escalonamento. Mark Zuckerberg observou que o modelo de 8B quase igualou o maior Llama 2, e o modelo de 70B ainda estava aprendendo no final do treinamento.
O Llama 3.1 seguiu em 23 de julho de 2024, introduzindo um modelo de 405B parâmetros e janelas de contexto estendidas. A Meta também lançou o Meta AI, um assistente construído no Llama, integrado ao Facebook e WhatsApp. A versão mais recente, Llama 4, chegou em abril de 2025, mas em abril de 2026, o Meta Superintelligence Labs lançou o Muse Spark como seu sucessor, sinalizando uma nova direção.
Legado e Controvérsias
O vazamento continua sendo um momento pivotal na história da IA, destacando tensões entre controle corporativo e acesso aberto. Ele acelerou o movimento de código aberto, levando à proliferação de LLMs locais e ferramentas como Ollama e LM Studio. No entanto, também levantou preocupações sobre uso indevido, já que os pesos poderiam ser usados para spam ou desinformação. Os lançamentos subsequentes da Meta tentaram equilibrar abertura e segurança, mas o debate sobre o que constitui "código aberto" em IA continua.
Veja Também
Referências
Este artigo é baseado em informações publicamente disponíveis e relatos da época do vazamento e dos lançamentos subsequentes.