LLaMA 3 é uma família de modelos de linguagem de grande porte lançada pela Meta AI em 18 de abril de 2024. É a terceira geração da série Llama, sucedendo o Llama 2, e inclui dois tamanhos iniciais de modelo: 8 bilhões e 70 bilhões de parâmetros. Os modelos foram pré-treinados em aproximadamente 15 trilhões de tokens de texto de fontes publicamente disponíveis, com versões ajustadas por instruções refinadas em conjuntos de dados públicos de instruções e mais de 10 milhões de exemplos anotados por humanos. O LLaMA 3 demonstrou desempenho competitivo contra modelos proprietários como Gemini Pro 1.5 e Claude 3 Sonnet em muitos benchmarks, e a Meta anunciou planos para torná-lo multilíngue, multimodal e melhor em codificação e raciocínio.
Contexto
O desenvolvimento do LLaMA 3 ocorreu em meio a avanços rápidos na IA generativa, após o sucesso do ChatGPT da OpenAI e o lançamento dos modelos Llama anteriores. O cientista-chefe de IA da Meta, Yann LeCun, afirmou que os modelos de linguagem de grande porte são mais adequados para auxiliar na escrita, refletindo o foco da Meta em aplicações práticas. A série Llama começou em fevereiro de 2023 com o LLaMA original, que inicialmente estava disponível apenas para pesquisadores sob uma licença não comercial. Após um vazamento não autorizado dos pesos via BitTorrent, versões subsequentes, incluindo o Llama 2, foram tornadas mais acessíveis com uso comercial permitido.
Arquitetura e Treinamento do Modelo
O LLaMA 3 mantém a arquitetura transformer usada nos modelos Llama anteriores, mas com melhorias na escala e qualidade dos dados de treinamento. Os modelos foram treinados em 15 trilhões de tokens, significativamente mais do que a quantidade ótima de Chinchilla para seus tamanhos. Por exemplo, o conjunto de dados ótimo de Chinchilla para o modelo de 8B é de 200 bilhões de tokens, mas o desempenho continuou a escalar log-linearmente até 75 vezes essa quantidade. Essa descoberta empírica destacou os benefícios de treinar em conjuntos de dados maiores do que o considerado ótimo anteriormente. O modelo de 70B ainda estava aprendendo no final do treinamento, mas a Meta decidiu parar para alocar recursos de GPU em outros lugares. Os modelos foram treinados usando o otimizador Adam e outras técnicas comuns em aprendizado profundo.
Lançamento e Disponibilidade
O LLaMA 3 foi lançado em 18 de abril de 2024, com pesos disponíveis para versões de fundação e ajustadas por instruções. Diferente do LLaMA original, que exigia aprovação caso a caso, o LLaMA 3 foi disponibilizado sob uma licença que permite uso comercial, embora com políticas de uso aceitável que alguns argumentam impedem que seja verdadeiramente de código aberto. O lançamento incluiu um site dedicado para a Meta AI, um assistente construído sobre o LLaMA 3, e integração no Facebook e WhatsApp. A Meta também anunciou planos futuros para modelos maiores e capacidades expandidas.
Desempenho e Recepção
Nos testes internos da Meta, o LLaMA 3 70B superou o Gemini Pro 1.5 do Google DeepMind e o Claude 3 Sonnet da Anthropic na maioria dos benchmarks. O modelo de 8B foi relatado por Mark Zuckerberg como quase tão poderoso quanto o maior modelo Llama 2. O lançamento foi bem recebido na comunidade de IA, com muitos elogiando a disponibilidade aberta de modelos de alto desempenho. No entanto, alguns comentaristas notaram que as restrições da licença significavam que não era totalmente de código aberto, um ponto também levantado pela Open Source Initiative. O sucesso do LLaMA 3 contribuiu para a proliferação de modelos de pesos abertos e influenciou lançamentos subsequentes, incluindo o Llama 3.1 em julho de 2024 e o Llama 4 em abril de 2025.
Impacto e Legado
O lançamento do LLaMA 3 reforçou a tendência de modelos de pesos abertos desafiarem sistemas proprietários. A escala de seus dados de treinamento e seu desempenho demonstraram a importância da quantidade de dados no desenvolvimento de modelos. A disponibilidade do modelo em plataformas como Hugging Face e por meio de serviços em nuvem como AWS e Azure facilitou a adoção generalizada. Em abril de 2026, a Meta Superintelligence Labs lançou o Muse Spark como substituto do Llama, marcando o fim da série Llama. No entanto, o LLaMA 3 permanece um marco significativo na evolução da inteligência artificial e do aprendizado de máquina.