Llama 2 é uma família de modelos de linguagem de grande porte (LLMs) desenvolvida pela Meta AI, lançada em 18 de julho de 2023, em parceria com a Microsoft. É a sucessora do modelo Llama original e inclui tanto modelos de fundação quanto versões de chat ajustadas por instruções. Diferentemente de seu predecessor, o Llama 2 foi disponibilizado com pesos para uso comercial amplo, sujeito a uma política de uso aceitável, o que influenciou significativamente o ecossistema de IA de código aberto.
Os modelos Llama 2 fazem parte do panorama mais amplo de modelos de linguagem de grande porte, baseando-se em avanços nas arquiteturas de transformadores e em técnicas de aprendizado profundo. O lançamento foi visto como um grande passo em direção à democratização do acesso à IA poderosa, oferecendo uma alternativa competitiva aos modelos proprietários de empresas como OpenAI e Google DeepMind.
Histórico
O rápido progresso dos modelos de linguagem de grande porte no início dos anos 2020, que preparou o terreno para o Llama, está interligado ao sucesso das ferramentas de IA generativa. O lançamento do GPT-3 demonstrou que aumentar o tamanho do modelo poderia gerar melhorias drásticas nas capacidades. Em novembro de 2022, a OpenAI lançou o ChatGPT, que ganhou atenção generalizada e desencadeou um surto em pesquisa e investimento em IA.
A Meta AI, o braço de pesquisa em IA da Meta, estava ativa no campo, com contribuições notáveis, como a arquitetura de transformadores desenvolvida por pesquisadores do Google DeepMind e outros. O cientista-chefe de IA da Meta, Yann LeCun, expressou publicamente ceticismo sobre o hype em torno dos modelos de linguagem de grande porte, afirmando que eles são mais adequados para auxiliar em tarefas de escrita, refletindo o foco da Meta em tornar a IA mais prática e acessível.
Lançamento Inicial e Vazamento
A família original do Llama (Llama 1, estilizado como LLaMA) foi anunciada em 24 de fevereiro de 2023, por meio de uma postagem em blog e um artigo técnico. Estava disponível em tamanhos de 1 bilhão a 65 bilhões de parâmetros, treinada em dados publicamente disponíveis. Inicialmente, os pesos do modelo eram acessíveis apenas a pesquisadores, caso a caso, sob uma licença não comercial.
No entanto, os pesos logo vazaram online. Em março de 2023, um torrent dos pesos foi compartilhado no 4chan e se espalhou rapidamente. A Meta enviou pedidos de remoção ao HuggingFace e ao GitHub para repositórios que hospedavam o modelo, mas o vazamento permitiu uso privado e pesquisa em larga escala. Muitos consideraram o vazamento um ponto de virada para a IA aberta, com comparações ao Stable Diffusion acelerando a inovação.
Lançamento do Llama 2
Em 18 de julho de 2023, em parceria com a Microsoft, a Meta anunciou o Llama 2, a próxima geração da família Llama. A empresa lançou três tamanhos de parâmetros: 7 bilhões, 13 bilhões e 70 bilhões de parâmetros. A Meta também lançou tanto modelos de fundação quanto variantes ajustadas. Especificamente, os ajustes finos de chat foram projetados para uso conversacional.
Os modelos foram treinados com 40% mais dados do que o Llama original, mas a arquitetura permaneceu amplamente inalterada. Os modelos Llama 2 usavam blocos de redes residuais com mecanismo de atenção, beneficiando-se de normalização de camadas e outras inovações. O ajuste fino por instruções usava técnicas do estilo RLAIF, combinando ajuste fino supervisionado e feedback humano.
Disponibilidade Comercial e Licença
O aspecto mais notável do lançamento do Llama 2 foi a decisão de fornecer os pesos para uso gratuito, em muitas aplicações comerciais. A Meta lançou os modelos sob uma licença personalizada que permite uso, reprodução e modificação para fins comerciais e de pesquisa, com algumas restrições sobre casos de uso, conforme definido pela política.
Devido à política de uso aceitável e outros termos, muitos críticos argumentaram que o Llama 2 não era verdadeiramente código aberto pelos padrões da Open Source Initiative (OSI). No entanto, a disponibilidade de um modelo de linguagem poderoso aberto para uso comercial foi um marco, permitindo que organizações menores e indivíduos construíssem sobre a tecnologia sem depender de APIs pagas.
A parceria com a Microsoft foi notável, pois integrou o lançamento à sua infraestrutura Azure. Os modelos foram disponibilizados no catálogo de modelos de IA do Azure, mas também podiam ser baixados diretamente, o que aumentou a acessibilidade.
Arquitetura do Modelo e Treinamento
O Llama 2 empregou uma arquitetura semelhante à de seu predecessor, mas com ajustes na escala. O tamanho do modelo chegou a 70 bilhões de parâmetros, permitindo capturar padrões mais complexos. O treinamento usou uma mistura de fontes, incluindo páginas da web, livros e outros dados públicos, com foco na filtragem de qualidade.
Um aspecto-chave do processo de treinamento envolve a otimização da perda de entropia cruzada, usando princípios como agendamento de taxa de aprendizado e poda de modelo. A Meta também incorporou técnicas como Dropout e inicialização de pesos para melhorar o desempenho.
Os modelos 7B, 13B e 70B estão disponíveis, com o modelo 70B projetado para rodar em múltiplas GPUs. O Llama 2 foi avaliado contra modelos contemporâneos como GPT-3 e Chinchilla, alcançando resultados competitivos em várias tarefas de referência, incluindo raciocínio e codificação.
Impacto no Ecossistema de IA de Código Aberto
O lançamento do Llama 2, com acesso comercial, acelerou significativamente o crescimento do ecossistema de IA de código aberto. Ele forneceu uma alternativa aos modelos proprietários, fomentando uma comunidade de desenvolvedores, pesquisadores e startups. Muitas empresas, como AI21-Labs e Inflection AI, usaram o Llama 2 como base para seus próprios modelos.
Além disso, o lançamento foi acompanhado pela integração em serviços de nuvem como Amazon Web Services, Google Cloud e Oracle Cloud, tornando a implantação acessível. Além disso, fornecedores de hardware como AMD, Intel e Qualcomm otimizaram seus chips para executar o Llama com eficiência.
Derivados e Ajustes Finos
Os modelos Llama 2 foram frequentemente ajustados para várias aplicações. Um exemplo notável é o Code Llama, um ajuste fino com conjuntos de dados de código especializados. Lançado em 24 de agosto de 2023, inicialmente nas versões 7B, 13B e 34B, e posteriormente uma versão 70B em 29 de janeiro de 2024. O Code Llama foi treinado em 500 bilhões de tokens de dados de código, seguindo o modelo de fundação. A comunidade de IA generativa produziu muitos outros ajustes finos, como modelos para escrita criativa, assistência jurídica e aconselhamento médico.
A acessibilidade dos pesos do modelo permitiu que pesquisadores aplicassem técnicas como poda de modelo, quantização e pesos, tornando possível para pequenas empresas de IA e instituições educacionais estudar e adaptar a tecnologia.
Resposta e Críticas
As reações ao Llama 2 foram geralmente positivas, mas também preocupantes. Os apoiadores elogiaram seu potencial para democratizar a IA e fomentar a inovação, observando que ele poderia competir com modelos comerciais como o GPT-3.5. No entanto, alguns críticos apontaram que as restrições da licença ainda não eram totalmente "abertas", conforme definido, limitando assim sua extensão de liberdade.
A política de uso aceitável restringia aplicações em áreas como vigilância, spam e malware. Isso foi debatido como um esforço para prevenir o uso indevido, mas também limitava a flexibilidade.
Alguns pesquisadores também notaram as preocupações ambientais e de recursos do treinamento de modelos grandes como o Llama 2. O treinamento exigia poder computacional significativo, levantando questões éticas e práticas.
Legado e Futuro
O Llama 2 estabeleceu um novo padrão para IA aberta, levando ao lançamento posterior do Llama 3 em abril de 2024. O lançamento teve um efeito duradouro na indústria, pressionando grandes laboratórios comerciais a reconsiderar como os modelos poderiam ser compartilhados. Também incentivou o crescimento da coleção de IA aberta como base para outros produtos.
A abordagem do Llama 2 de fornecer pesos com restrições foi adotada por outros desenvolvedores para construir assistentes de IA, como o Meta AI, que agora é construído no Llama 3. No final de 2025, o Llama é uma família de modelos, e apesar do surgimento de novos modelos, o Llama 2 permanece um marco fundamental.
Resumo
Em suma, o anúncio do Meta Llama 2 foi um evento significativo no avanço da IA generativa. Ao combinar forte desempenho com pesos permissivos, a decisão da Meta ajudou a moldar o ecossistema de IA aberta. O evento é frequentemente citado como um dos pontos que aqueceram o interesse na IA comercial.
Desde seu lançamento, o Llama 2 marcou uma ruptura com as práticas mais restritivas de outros modelos de IA, e seu impacto foi generalizado.