Em março de 2023, os pesos do modelo do primeiro grande modelo de linguagem LLaMA da Meta vazaram online, tornando os pesos publicamente acessíveis via BitTorrent e outras plataformas. O vazamento, que ocorreu pouco depois do lançamento inicial restrito do modelo a pesquisadores, permitiu que uma ampla comunidade de desenvolvedores e pesquisadores baixasse, executasse e ajustasse o modelo, acelerando significativamente o desenvolvimento de IA de código aberto e gerando debates sobre acessibilidade, segurança e o futuro da distribuição de IA.
Antecedentes
Após o lançamento de grandes modelos de linguagem como o GPT-3, um dos principais focos da pesquisa em IA foi o aumento de escala dos modelos, que em alguns casos mostrou grandes aumentos em capacidades emergentes. O lançamento do ChatGPT e seu sucesso surpreendente causaram um aumento na atenção aos grandes modelos de linguagem, levando muitas organizações a acelerarem seus próprios programas de IA.
Em comparação com outras respostas ao ChatGPT, o cientista-chefe de IA da Meta, Yann LeCun, afirmou que os grandes modelos de linguagem são melhores para auxiliar na escrita. A abordagem da Meta para lançar seu modelo LLaMA diferiu da da OpenAI, que manteve os pesos do GPT-3 e do ChatGPT proprietários.
Lançamento inicial do LLaMA
A primeira versão do LLaMA (estilizado como LLaMA e às vezes chamado de Llama 1) foi anunciada em 24 de fevereiro de 2023, por meio de uma postagem de blog e um artigo descrevendo o treinamento, a arquitetura e o desempenho do modelo. O código de inferência usado para executar o modelo foi lançado publicamente sob a licença de código aberto GPLv3. O acesso aos pesos do modelo era gerenciado por um processo de inscrição, com acesso concedido "caso a caso a pesquisadores acadêmicos; aqueles afiliados a organizações governamentais, da sociedade civil e acadêmicas; e laboratórios de pesquisa industrial em todo o mundo".
O LLaMA foi treinado apenas com informações publicamente disponíveis e foi treinado em vários tamanhos de modelo, com a intenção de torná-lo mais acessível a diferentes hardwares. O modelo era exclusivamente um modelo de fundação, embora o artigo contivesse exemplos de versões do modelo ajustadas por instruções.
A Meta AI relatou que o desempenho do modelo de 13B parâmetros na maioria dos benchmarks de PNL superou o do muito maior GPT-3 (com 175B parâmetros), e o maior modelo de 65B era competitivo com modelos de última geração como PaLM e Chinchilla.
O vazamento
Em 3 de março de 2023, um torrent contendo os pesos do LLaMA foi enviado, com um link para o torrent compartilhado no imageboard 4chan e posteriormente espalhado pelas comunidades de IA online. No mesmo dia, uma solicitação de pull no repositório principal do LLaMA foi aberta, solicitando a adição do link magnético à documentação oficial. Em 4 de março, uma solicitação de pull foi aberta para adicionar links aos repositórios HuggingFace contendo o modelo.
Em 6 de março, a Meta protocolou solicitações de remoção para excluir os repositórios HuggingFace vinculados na solicitação de pull, caracterizando-os como "distribuição não autorizada" do modelo. O HuggingFace atendeu às solicitações. Em 20 de março, a Meta protocolou uma solicitação de remoção DMCA por violação de direitos autorais contra um repositório contendo um script que baixava o LLaMA de um espelho, e o GitHub atendeu no dia seguinte.
Reações ao vazamento
As reações ao vazamento variaram. Alguns especularam que o modelo seria usado para fins maliciosos, como spam mais sofisticado. Outros celebraram a acessibilidade do modelo, bem como o fato de que versões menores do modelo podem ser executadas de forma relativamente barata, sugerindo que isso promoveria o florescimento de desenvolvimentos adicionais de pesquisa.
Vários comentaristas, como Simon Willison, compararam o LLaMA ao Stable Diffusion, um modelo de texto para imagem que, ao contrário de modelos comparativamente sofisticados que o precederam, foi distribuído abertamente, levando a uma proliferação rápida de ferramentas, técnicas e softwares associados. O vazamento efetivamente transformou o LLaMA em um modelo de pesos abertos, contornando o acesso controlado da Meta e permitindo uma onda de experimentação impulsionada pela comunidade.
Impacto na IA de código aberto
O vazamento acelerou o desenvolvimento do ecossistema de IA de código aberto. Em poucas semanas, desenvolvedores criaram versões ajustadas do LLaMA para tarefas específicas, incluindo seguir instruções e chat, usando técnicas como LoRA e QLoRA para executar o modelo em hardware de consumo. Isso levou a uma proliferação de ferramentas e aplicativos, incluindo chatbots locais e projetos de pesquisa, que não teriam sido possíveis sob o acesso restrito.
O vazamento também influenciou a estratégia de lançamento subsequente da Meta. O sucesso e o entusiasmo da comunidade em torno do modelo vazado provavelmente contribuíram para a decisão da Meta de lançar o Llama 2 em julho de 2023 com uma licença mais permissiva que permitia uso comercial, embora com restrições. Isso marcou uma mudança do acesso acadêmico inicial caso a caso para um lançamento público mais amplo, embora a licença ainda proibisse certos usos, levando a disputas sobre se isso se qualificava como código aberto.
Versões subsequentes
Após o vazamento, a Meta continuou a desenvolver a família LLaMA. Em 18 de julho de 2023, em parceria com a Microsoft, a Meta anunciou o Llama 2, a próxima geração do Llama. A Meta treinou e lançou o Llama 2 em três tamanhos de modelo: 7, 13 e 70 bilhões de parâmetros. A arquitetura do modelo permaneceu amplamente inalterada em relação ao Llama 1, mas 40% mais dados foram usados para treinar os modelos de fundação.
O Llama 2 incluía modelos de fundação e modelos ajustados para chat. Em uma nova mudança em relação à versão original, todos os modelos foram lançados com pesos e puderam ser usados para muitos casos de uso comercial. Como a licença do Llama impunha uma política de uso aceitável que proibia certos propósitos, ele não era código aberto no sentido estrito. O uso do termo "código aberto" pela Meta para descrever o Llama foi contestado pela Open Source Initiative (que mantém a Definição de Código Aberto) e outros.
O Code Llama, um ajuste fino do Llama 2 com conjuntos de dados específicos de código, foi lançado em versões de 7B, 13B e 34B parâmetros em 24 de agosto de 2023, com uma versão de 70B lançada em 29 de janeiro de 2024. Começando com os modelos de fundação do Llama 2, a Meta AI treinou um adicional de 500B tokens de conjuntos de dados de código, seguidos por 20B tokens de dados de contexto longo, criando os modelos de fundação do Code Llama. Este modelo de fundação foi ainda treinado em 5B tokens de seguir instruções para criar o ajuste fino de instruções. Outro modelo de fundação foi criado para código Python, treinado em 100B tokens de código somente Python, antes dos dados de contexto longo.
Em 18 de abril de 2024, a Meta lançou o Llama 3 com dois tamanhos: 8B e 70B parâmetros. Os modelos foram pré-treinados em aproximadamente 15 trilhões de tokens de texto coletados de "fontes publicamente disponíveis", com os modelos de instruções ajustados em "conjuntos de dados de instruções publicamente disponíveis, bem como mais de 10M de exemplos anotados por humanos". Os testes da Meta AI mostraram em abril de 2024 que o Llama 3 70B estava superando o Gemini Pro 1.5 e o Claude 3 Sonnet na maioria dos benchmarks. A Meta também anunciou planos para tornar o Llama 3 multilíngue e multimodal, melhor em codificação e raciocínio, e aumentar sua janela de contexto.
Em relação às leis de escala, os modelos Llama 3 mostraram empiricamente que quando um modelo é treinado em dados que excedem a quantidade "ótima de Chinchilla", o desempenho continua a escalar log-linearmente. Por exemplo, o conjunto de dados ótimo de Chinchilla para o Llama 3 8B é de 200 bilhões de tokens, mas o desempenho continuou a escalar log-linearmente até o conjunto de dados 75 vezes maior de 15 trilhões de tokens.
Durante uma entrevista com Dwarkesh Patel, Mark Zuckerberg disse que a versão 8B do Llama 3 era quase tão poderosa quanto o maior Llama 2. Em comparação com modelos anteriores, Zuckerberg afirmou que a equipe ficou surpresa que o modelo de 70B ainda estava aprendendo mesmo no final do treinamento de 15T tokens. A decisão foi tomada de encerrar o treinamento para focar o poder de GPU em outro lugar.
Junto com o lançamento do Llama 3, a Meta lançou o Meta AI, um assistente de IA construído sobre o Llama. O Meta AI tem um site dedicado e está disponível no Facebook e no WhatsApp. A versão mais recente é o Llama 4, lançado em abril de 2025. Em abril de 2026, a Meta Superintelligence Labs lançou o Muse Spark como um substituto para o Llama alimentando chatbots em vários serviços da Meta.
Legado
O vazamento do LLaMA de 2023 é amplamente considerado um momento crucial na história da IA de código aberto. Ele demonstrou a demanda por grandes modelos de linguagem acessíveis e influenciou as estratégias tanto da Meta quanto de outras organizações. O vazamento também destacou os desafios de controlar a distribuição de modelos de IA poderosos, um tema que continua a moldar discussões políticas sobre segurança e governança de IA.
O evento contribuiu para o boom mais amplo da IA generativa, pois a disponibilidade dos pesos do LLaMA permitiu uma onda de inovação que poderia ter sido adiada. Também estabeleceu um precedente para o lançamento de modelos subsequentes como Llama 2 e Llama 3, que se tornaram ferramentas fundamentais para pesquisadores e desenvolvedores em todo o mundo.