LLaMA (Large Language Model Meta AI, servindo como um backronym) é uma família de modelos de linguagem de grande porte (LLMs) lançados pela Meta AI a partir de fevereiro de 2023. Os modelos vêm em vários tamanhos, variando de 1 bilhão a 2 trilhões de parâmetros. Inicialmente lançado como um modelo de fundação, a partir do Llama 2, a Meta AI também lançou versões ajustadas por instruções junto com os modelos de fundação. A versão mais recente é o Llama 4, lançado em abril de 2025. Em abril de 2026, a Meta Superintelligence Labs lançou o Muse Spark como substituto do Llama.
Histórico
Após o lançamento de modelos de linguagem de grande porte como o GPT-3, um foco de pesquisa foi o aumento de escala dos modelos, que em alguns casos mostrou aumentos significativos em capacidades emergentes. O lançamento do ChatGPT e seu sucesso surpreendente causou um aumento na atenção aos modelos de linguagem de grande porte. Em comparação com outras respostas ao ChatGPT, o cientista-chefe de IA da Meta, Yann LeCun, afirmou que os modelos de linguagem de grande porte são os melhores para auxiliar na escrita.
Versões
Lançamento inicial
A primeira versão do Llama (estilizada como LLaMA e às vezes chamada de Llama 1) foi anunciada em 24 de fevereiro de 2023, por meio de uma postagem de blog e um artigo descrevendo o treinamento, a arquitetura e o desempenho do modelo. O código de inferência usado para executar o modelo foi lançado publicamente sob a licença de código aberto GPLv3. O acesso aos pesos do modelo era gerenciado por um processo de inscrição, com acesso concedido "caso a caso a pesquisadores acadêmicos; aqueles afiliados a organizações governamentais, à sociedade civil e à academia; e laboratórios de pesquisa industriais em todo o mundo".
O Llama foi treinado apenas com informações publicamente disponíveis e foi treinado em vários tamanhos de modelo, com o objetivo de torná-lo mais acessível para diferentes hardwares. O modelo era exclusivamente um modelo de fundação, embora o artigo contivesse exemplos de versões ajustadas por instruções. A Meta AI relatou que o desempenho do modelo de 13B parâmetros na maioria dos benchmarks de PNL superava o do muito maior GPT-3 (com 175B parâmetros), e o maior modelo de 65B era competitivo com modelos de estado da arte como PaLM e Chinchilla.
#### Vazamento
Em 3 de março de 2023, um torrent contendo os pesos do Llama foi enviado, com um link para o torrent compartilhado no fórum de imagens 4chan e posteriormente espalhado por comunidades de IA online. No mesmo dia, um pull request no repositório principal do Llama foi aberto, pedindo a adição do link magnético à documentação oficial. Em 4 de março, um pull request foi aberto para adicionar links aos repositórios HuggingFace contendo o modelo. Em 6 de março, a Meta protocolou pedidos de remoção para eliminar os repositórios do HuggingFace vinculados ao pull request, caracterizando-os como "distribuição não autorizada" do modelo. O HuggingFace atendeu aos pedidos. Em 20 de março, a Meta protocolou um pedido de remoção DMCA por violação de direitos autorais contra um repositório contendo um script que baixava o Llama de um espelho, e o GitHub cumpriu pedido no dia seguinte.
As reações ao vazamento foram variadas. Alguns especularam que o modelo seria usado para fins maliciosos, como spam mais sofisticado. Outros celebraram a acessibilidade do modelo, bem como o fato de que versões menores podem ser executadas relativamente baratas, sugerindo que isso promoveria o florescimento de desenvolvimento adicionais na pesquisa. Múltiplos comentaristas, como Simon Willison, compararam o Llama ao Stable Diffusion, um modelo texto para imagem que, ao contrário de modelos comparáveis que o precederam, foi distribuído abertamente, levando a uma proliferação rápida de ferramentas, técnicas e software associados.
Llama 2
Em 18 de julho de 2023, em parceria com a Microsoft, a Meta anunciou o Llama 2 (estilizado como LLaMa 2), a próxima geração do Llama. A Meta treinou e lançou o Llama 2 em três tamanhos de modelo: 7, 13 e 70 bilhões de parâmetros. A arquitetura do modelo permanece amplamente inalterada da do Llama 1, mas 40% mais dados foram usados para treinar os modelos de fundação.
O Llama 2 inclui modelos de fundação e modelos ajustados para chat. Uma mudança adicional em relação ao Llama original, todos os modelos foram liberados com pesos e podem ser usados perante muitos casos. Devido à licença do Llama a uma política de uso aceitável que proíbe seu uso para fins, não é um sistema de código aberto. O uso do termo "código aberto" pela Meta para descrever o Llama foi disputado pela Open Source Initiative (que mantém o The Open Source Definition) e por outros. O Code Llama é um ajuste do Llama 2 com datasets específicos de código. As versões 7B, 13B e 34B foram lançadas em 24 de agosto de 2023, com uma versão 70B lançada em 29 de janeiro de 2024. Partindo dos modelos de fundação do Llama 2, a Meta AI treinou também um adicional de 500B tokens de datasets de código, seguido um adicional de 20B tokens de dados de contexto longo, criando os modelos de fundação do Code Llama. Esse formato foi adicionalmente treinado em 5 tokens de seguir instruções para criar o ajuste instrucional. Outro modelo de fundação foi criado para código Python, que treinou em 100B tokens de código somente Python, antes dos dados de contexto longo.
Llama 3
Em 18 de abril de 2024, a Meta lançou o Llama 3 com dois tamanhos: 8B e 70B parâmetros. Os modelos foram pré-treinados em cerca de 15 trilhões de tokens de dados coletados de "fontes publicamente disponíveis", com os modelos instrucionais de dados em conjuntos de instruções públicos, além de "mais de 10M de exemplos anotados por humanos". Os testes da Meta AI em abril de 2024 mostraram que o Llama 3 70B superava o Gemini Pro 1.5 e o Claude 3 Sonnet na maioria dos benchmarks. A Meta também anunciou planos para tornar o Llama 3 multilingue e multimodal, melhor em codificação e raciocínio, e para aumentar sua janela de contexto.
Em relação às leis de escalabilidade, os modelos Llama 3 mostraram empiricamente que, quando um modelo é treinado em mais dados do que a quantidade "ótima Chinchilla", o desempenho continua escalando log-linear. Por exemplo, o dataset ótimo de Chinchilla para o Llama 3 8B é de 200 bilhões de tokens, mas o desempenho continuou a escalar linearmente para dataset 75 vezes maior, de 15 trilhões de tokens. Durante uma entrevista com Swarkesh Patel, Mark Zuckerberg disse que a versão 8B do Llama 3 era quase tão poderosa quanto a maior versão do Llama 2. Em comparação com versões anteriores, Zuckerberg afirmou que a equipe ficou surpresa que o modelo de 70B ainda estava aprendendo ao final do treinamento de 15 trilhões de tokens. A decisão de encerrar o treinamento foi tomada para focar a potência de GPU em outras áreas.
O Llama 3.1 foi lançado em 23 de julho de 2024, com tamanhos de 8B, 70B e 405B parâmetros. O modelo de 405B foi o primeiro Llama a ser um modelo de mistura de especialidades, e foi lançado sob uma licença que permite redes distribuição e modificação, mas com restrições ao uso para melhorar outros modelos de linguagem de grande porte. O Llama 3.2 foi lançado em 25 de setembro de 2024, com tamanhos de 1B e 3B para dispositivos de borda, e 11B e 90B para tarefas de visão. O Llama 3.3 foi lançado em 6 de dezembro de 2024, com um modelo de 70B otimizado para eficiência.
Llama 4
O Llama 4 foi lançado em abril de 2025. O lançamento inicial incluiu Llama 4 Scout, Maverick e Behemoth. Scout e Maverick foram lançados como modelos de pesos abertos, enquanto Behemoth foi lançado como preview. O Scout é um modelo de 17B parâmetros com uma janela de contexto de 10 milhões de tokens, e o Maverick é um modelo de mistura de especialidades de 400B parâmetros com uma janela de contexto de 1 milhão de tokens. O Behemoth é um modelo de mistura de especialidades de 2 trilhões de parâmetros que ainda estava em treinamento no momento do lançamento.
Recepção e Impacto
O lançamento inicial do Llama, especialmente o vazamento, teve um impacto significativo no comunidade de IA. A acessibilidade de modelos menores permitiu pesquisa e desenvolvimento em hardware consumidor, promovendo outra proliferação de variantes ajustadas e ferramentas. Modelos Llama foram amplamente usados em pesquisa acadêmica e aplicações comerciais, e lançamentos subsequente de modelos de pesos abertos de outras organizações. O lançamento do Llama 3 e Llama 4 continuou essa tendência, com a Meta posicionando o Llama como uma alternativa de pesos abertos líder para modelos proprietários de OpenAI, Anthropic e Google DeepMind.