Llama 3.2 é uma família de modelos de linguagem de grande porte desenvolvida pela Meta AI, lançada em 25 de setembro de 2024. A família inclui tanto modelos densos (1B e 3B de parâmetros) projetados para aplicações em dispositivos quanto modelos maiores (11B e 90B de parâmetros) com capacidades multimodais, suportando entradas de texto e imagem. Os modelos estão disponíveis sob uma licença permissiva para uso tanto em pesquisa quanto comercial, com as variantes menores otimizadas para dispositivos de borda, como smartphones e laptops.
O lançamento do Llama 3.2 marcou uma expansão significativa da série Llama, seguindo os modelos anteriores Llama 3.1. As variantes de 11B e 90B integram compreensão de visão, permitindo que processem imagens junto com texto, um recurso ausente nas versões anteriores do Llama. Os modelos de 1B e 3B, em particular, são projetados para operar eficientemente em hardware de consumo, com o modelo de 3B alcançando desempenho comparável a modelos maiores em certos benchmarks.
Arquitetura e Treinamento
Os modelos Llama 3.2 são construídos sobre a arquitetura Transformer (architecture), utilizando um design somente decodificador com atenção de consulta agrupada (GQA) para melhorar a eficiência de inferência. Os modelos de visão-linguagem (11B e 90B) incorporam um codificador de visão que processa imagens em tokens, que são então fundidos com embeddings de texto. O treinamento envolveu uma combinação de dados somente de texto e multimodais, com foco em ajuste de instruções de alta qualidade e técnicas de alinhamento, como RLHF e ajuste fino supervisionado.
Os modelos menores (1B e 3B) foram treinados com um comprimento de contexto de 128.000 tokens, enquanto os modelos maiores suportam até 128.000 tokens para texto e uma torre de visão separada para entradas de imagem. Os modelos usam um tamanho de vocabulário de 128.000 tokens e empregam normalização de camada e Dropout para estabilidade.
Desempenho e Benchmarks
Os modelos Llama 3.2 foram avaliados em uma variedade de benchmarks públicos, incluindo MMLU, GSM8K e HumanEval. O modelo de 90B alcança resultados competitivos contra modelos líderes, como o GPT-4 da OpenAI e o Claude 3.5 Sonnet da Anthropic, em tarefas como conhecimento geral, raciocínio e codificação. O modelo de 3B, apesar de seu tamanho pequeno, supera muitos modelos maiores em tarefas de seguir instruções e sumarização, tornando-o adequado para aplicações em dispositivos.
Em avaliações internas, o modelo de 90B obteve 86,0 no MMLU, 94,1 no GSM8K e 89,1 no HumanEval, enquanto o modelo de 11B alcançou 83,0 no MMLU, 88,4 no GSM8K e 84,9 no HumanEval. Esses resultados destacam a eficiência da arquitetura, com o modelo de 90B usando um design de mistura de especialistas (MoE) para algumas tarefas, embora as versões densas padrão também estejam disponíveis.
Implantação e Ecossistema
Os modelos Llama 3.2 estão integrados nas principais plataformas de nuvem, incluindo AWS, Microsoft Azure, Google Cloud e Oracle Cloud. Eles também são suportados por provedores de hardware como Groq, SambaNova e Intel, permitindo inferência de baixa latência. Os modelos menores são otimizados para implantação em borda, com suporte a técnicas de quantização e poda para reduzir a pegada de memória.
A Meta AI fez parceria com Qualcomm e Samsung para habilitar recursos de IA em dispositivos em smartphones, aproveitando os modelos de 1B e 3B para tarefas como sumarização e geração de texto. Os modelos estão disponíveis no hub Hugging Face e podem ser ajustados usando frameworks padrão, como PyTorch e TensorFlow.
Recepção e Impacto
O Llama 3.2 foi amplamente adotado na comunidade de IA generativa, com muitos desenvolvedores usando os modelos menores para prototipagem e aplicações de borda. O lançamento do modelo de visão de 90B foi notado por sua capacidade de lidar com tarefas multimodais complexas, como compreensão de documentos e resposta a perguntas visuais. No entanto, alguns críticos apontaram que os modelos ainda enfrentam desafios em precisão factual e viés, semelhante a outros modelos de linguagem de grande porte.
A abordagem de pesos abertos do Llama 3.2 foi elogiada por democratizar o acesso à IA avançada, mas também levantou preocupações sobre possível uso indevido. A Meta implementou medidas de segurança, incluindo red-teaming e filtragem de conteúdo, para mitigar riscos.
Direções Futuras
A Meta indicou que o Llama 3.2 faz parte de um ciclo de desenvolvimento contínuo, com planos para melhorias adicionais em raciocínio, suporte multilíngue e eficiência. A empresa também está explorando integração com pesquisa em redes neurais de instituições acadêmicas como Stanford AI Lab e Berkeley AI Research. A partir de 2025, os modelos permanecem como um benchmark para IA de pesos abertos, influenciando lançamentos subsequentes de outras organizações.