Llama 2 é uma família de modelos de linguagem de grande porte (LLMs) lançada pela Meta AI em 18 de julho de 2023, em parceria com a Microsoft. Ao contrário da primeira versão do Llama, que era restrita a pesquisadores acadêmicos sob uma licença não comercial, o Llama 2 foi disponibilizado ao público com pesos do modelo e uma licença que permitia muitos casos de uso comercial. O lançamento incluiu tanto modelos fundacionais quanto versões de chat ajustadas por instruções, em tamanhos de 7, 13 e 70 bilhões de parâmetros.
O lançamento do Llama 2 foi um evento significativo no campo da IA generativa, pois forneceu uma alternativa competitiva de pesos abertos a modelos proprietários como GPT-3 e ChatGPT. Também gerou debate sobre o significado de "código aberto" em IA, já que a licença da Meta incluía restrições de uso que alguns argumentavam se desviar da Definição de Código Aberto. O lançamento influenciou desenvolvimentos subsequentes em modelagem de pesos abertos, incluindo o próprio Llama 3 da Meta e outros modelos de empresas como Mistral AI e AI21 Labs.
Contexto
O desenvolvimento do Llama 2 ocorreu em um cenário de rápidos avanços em modelos de linguagem de grande porte. Após o lançamento do GPT-3 em 2020, pesquisadores descobriram que escalar modelos para tamanhos maiores frequentemente levava a melhorias drásticas em capacidades, como raciocínio e geração de código. O lançamento do ChatGPT em novembro de 2022 trouxe os LLMs a um amplo público e desencadeou uma corrida em toda a indústria para desenvolver e melhorar esses modelos.
A resposta inicial da Meta foi cautelosa. Em uma entrevista, o cientista-chefe de IA Yann LeCun observou que os LLMs eram mais adequados para auxiliar na escrita, em vez de servir como motores de raciocínio de propósito geral. No entanto, o sucesso do ChatGPT e o subsequente vazamento do primeiro modelo Llama em março de 2023 levaram a Meta a reavaliar sua estratégia. Ao lançar o Llama 2 abertamente, a Meta visava competir enquanto também fomentava um ecossistema de desenvolvedores e pesquisadores externos.
Anúncio de lançamento
A Meta anunciou o Llama 2 em 18 de julho de 2023, em uma postagem de blog e um artigo intitulado "Llama 2: Open Foundation and Fine-Tuned Chat Models". O lançamento foi acompanhado por uma parceria com a Microsoft, que disponibilizou o Llama 2 em sua plataforma de nuvem Azure e no sistema operacional Windows da Microsoft. A Meta também forneceu um guia de uso responsável e uma licença comunitária que permitia uso comercial, com estipulações como não usar o modelo para melhorar outros modelos de linguagem de grande porte.
O anúncio destacou que o Llama 2 foi treinado com 40% mais dados do que seu predecessor, o Llama 1, e que as versões de chat foram ajustadas usando aprendizado por reforço com feedback humano (RLHF), uma técnica semelhante à usada para o ChatGPT. A Meta relatou que o modelo de chat de 70B superou o ChatGPT em alguns benchmarks, embora essas alegações tenham sido posteriormente debatidas.
Arquitetura do modelo e treinamento
O Llama 2 mantém a mesma arquitetura baseada em transformer do Llama 1, mas com ajustes no treinamento. Os modelos usam o mesmo tokenizador e contagens de parâmetros, mas foram treinados em 2 trilhões de tokens de dados da web publicamente disponíveis, em comparação com 1,4 trilhão para o Llama 1. Os dados de treinamento incluíam misturas de textos em inglês, código e outras fontes.
Os três tamanhos - 7B, 13B e 70B - foram escolhidos para acomodar diferentes hardwares e casos de uso. Os modelos de 7B e 13B podem ser executados em GPUs de consumidor, enquanto o modelo de 70B requer recursos computacionais mais substanciais. A Meta também lançou versões de depuração e quantizadas para facilitar a inferência local.
Para os ajustes de chat, a Meta usou um processo de múltiplas etapas: ajuste fino supervisionado em demonstrações humanas, depois RLHF com otimização de política proximal, seguido por amostragem de rejeição. A empresa também implementou medidas de segurança nos modelos de chat para rejeitar prompts prejudiciais, embora essas nem sempre fossem eficazes.
Licença aberta e controvérsia
A licença do Llama 2 foi elogiada como um avanço em relação ao Llama 1, que era limitado a pesquisadores acadêmicos. No entanto, a licença não foi aprovada pela Open Source Initiative (OSI), que mantém a definição oficial de código aberto. A OSI argumentou que as restrições sobre o uso do Llama 2 para melhorar outros LLMs e os limites de usuários para grandes empresas violavam os princípios de código aberto, que exigem sem restrições de campo de uso e sem discriminação contra pessoas ou grupos.
A Meta continuou a usar o termo "código aberto" para descrever o Llama 2, gerando críticas de alguns desenvolvedores e pesquisadores que sentiam que a palavra estava sendo diluída. Esse debate se intensificou com lançamentos posteriores, já que o Llama 3 da Meta e outros modelos usavam licenças semelhantes.
Apesar da controvérsia, a disponibilidade dos pesos do Llama 2 permitiu uma ampla gama de aplicações. Pesquisadores podiam ajustar o modelo para domínios específicos, e startups podiam construir produtos comerciais sem pagar taxas de licença, desde que cumprissem a política de uso aceitável.
Recepção e impacto
As reações iniciais ao Llama 2 foram mistas. Muitos elogiaram a Meta por lançar um modelo poderoso com menos restrições, comparando-o ao impacto do Stable Diffusion na geração de imagens. Desenvolvedores rapidamente criaram ajustes finos para codificação, chat e outros fins. O modelo foi integrado a plataformas como Hugging Face (embora não seja um slug fornecido) e AWS e Google Cloud.
No entanto, alguns críticos notaram que o desempenho do Llama 2, especialmente para o modelo de 70B, nem sempre correspondia ao de modelos proprietários como GPT-4 ou PaLM 2. Benchmarks independentes mostraram que o Llama 2 70B era competitivo com o GPT-3.5 em muitas tarefas, mas ficava atrás do estado da arte em raciocínio e factualidade.
O lançamento também teve impacto na comunidade de IA em geral. Ele levou outras empresas, como Mistral AI, a lançar modelos de pesos abertos, e contribuiu para o crescimento de um ecossistema descentralizado de implantação de LLMs. Além disso, a disponibilidade do Llama 2 no Microsoft Azure facilitou a adoção de IA de pesos abertos por empresas.
Comparação com Llama 1 e sucessores
O Llama 2 diferiu do Llama 1 em vários aspectos principais: era aberto para uso comercial, incluía ajustes finos de chat e foi treinado com mais dados. No entanto, a arquitetura permaneceu amplamente inalterada, e alguns especialistas notaram que as melhorias foram incrementais em vez de revolucionárias.
Lançamentos subsequentes se basearam no Llama 2. Em agosto de 2023, a Meta lançou o Code Llama, um ajuste fino do Llama 2 especializado em geração de código, nos tamanhos 7B, 13B, 34B e 70B. Em abril de 2024, a Meta introduziu o Llama 3, com tamanhos de 8B e 70B, que usava um conjunto de dados de treinamento maior e mostrava desempenho melhorado. O Llama 3 foi seguido pelo Llama 4 em abril de 2025, que se tornou parte do assistente de IA da Meta. Em 2026, a Meta Superintelligence Labs lançou o Muse Spark como sucessor.
Legado
O legado do Llama 2 reside em seu papel como catalisador do movimento de pesos abertos em IA. Ele demonstrou que modelos poderosos poderiam ser compartilhados amplamente enquanto ainda mantinham controles de segurança, e forneceu uma alternativa prática a modelos fechados, apenas via API. O modelo também influenciou discussões sobre a definição de código aberto em IA, um debate que continua à medida que o campo evolui.
Para muitos desenvolvedores e pesquisadores, o Llama 2 se tornou uma linha de base para experimentação e inovação. Seu lançamento reduziu a barreira de entrada para trabalhar com modelos de linguagem de grande porte, possibilitando uma onda de ajustes finos e aplicações que talvez não existissem de outra forma. Mesmo com o surgimento de modelos mais novos, o Llama 2 permaneceu como um ponto de referência para entender as compensações entre abertura, capacidade e segurança no desenvolvimento de IA.