O LaMDA 2 é um modelo de linguagem de grande escala desenvolvido pelo Google para aplicações de diálogo. Anunciado em maio de 2022, é o sucessor do modelo LaMDA original, que foi apresentado no Google I/O em 2021. O LaMDA 2 foi projetado para participar de conversas abertas e de múltiplas etapas que são mais naturais e úteis do que as do seu predecessor, com foco em melhorar a segurança, o embasamento factual e a capacidade de direcionar as respostas de acordo com a intenção do usuário.
O modelo é construído sobre a arquitetura transformador, um design de rede neural que se tornou fundamental na inteligência artificial e no aprendizado de máquina modernos. Ele utiliza uma estrutura sequência-a-sequência com mecanismos de atenção de múltiplas cabeças, permitindo processar e gerar texto conversacional com consciência contextual. O LaMDA 2 foi treinado em um grande corpus de dados públicos de diálogo e texto da web, usando técnicas de aprendizado profundo para aprender padrões conversacionais e conhecimento de mundo.
Arquitetura e Treinamento
O LaMDA 2 mantém a arquitetura central do seu predecessor, que é um modelo transformador somente com decodificador. O LaMDA original foi treinado com até 137 bilhões de parâmetros, e o LaMDA 2 segue uma escala semelhante, embora os números exatos de parâmetros não tenham sido divulgados publicamente. O treinamento envolveu um processo em duas etapas: primeiro, o pré-treinamento em um conjunto diversificado de diálogos e documentos da web para aprender representações de linguagem e, segundo, o ajuste fino usando uma combinação de aprendizado supervisionado e aprendizado por reforço com feedback humano (RLHF).
A etapa de ajuste fino foi crucial para melhorar a segurança e a qualidade do modelo. O Google empregou avaliadores humanos para avaliar as respostas do modelo em métricas como sensatez, especificidade e interesse. O RLHF permitiu que o modelo otimizasse essas qualidades, reduzindo a probabilidade de gerar saídas sem sentido ou prejudiciais. Além disso, o LaMDA 2 incorporou uma técnica chamada "embasamento", que permite ao modelo consultar fontes externas de informação, como resultados de busca, para melhorar a precisão factual durante as conversas.
Segurança e Factualidade
Um foco principal do LaMDA 2 foi abordar as limitações do modelo original, particularmente em termos de segurança e factualidade. O LaMDA original foi criticado por ocasionalmente gerar declarações tendenciosas ou factualmente incorretas. O LaMDA 2 introduziu um novo conjunto de métricas de segurança, incluindo "segurança" (evitar linguagem prejudicial ou tóxica) e "factualidade" (garantir que as declarações sejam apoiadas por fontes confiáveis).
Para atingir esses objetivos, o Google implementou uma abordagem baseada em classificadores durante o treinamento, na qual as respostas eram filtradas e classificadas com base em critérios de segurança. O modelo também foi treinado para reconhecer quando lhe falta informação e para fazer perguntas de esclarecimento em vez de adivinhar. Isso foi um afastamento dos modelos anteriores, que frequentemente produziam respostas confiantes, mas incorretas. A capacidade de embasamento do LaMDA 2 foi particularmente notável, pois permitia que o modelo recuperasse e citasse informações externas em tempo real, de forma semelhante a como um mecanismo de busca poderia informar uma resposta.
Controlabilidade e Intenção do Usuário
Outro avanço no LaMDA 2 foi sua controlabilidade aprimorada. O modelo foi projetado para entender e seguir instruções do usuário de forma mais eficaz, permitindo que os usuários especificassem o tom, o estilo ou o conteúdo das respostas. Por exemplo, um usuário poderia pedir uma resposta em tom formal ou solicitar um resumo de um tópico, e o LaMDA 2 ajustaria sua saída de acordo.
Isso foi alcançado por meio de uma técnica chamada "condicionamento de intenção", na qual o modelo é ajustado em exemplos que combinam instruções do usuário com características desejadas de resposta. Isso tornou o LaMDA 2 mais versátil do que seu predecessor, que muitas vezes tinha dificuldade em se desviar do seu estilo conversacional padrão. O Google demonstrou essa capacidade em uma série de demonstrações interativas, mostrando como o LaMDA 2 poderia interpretar diferentes personagens, fornecer instruções passo a passo ou se envolver em tarefas de escrita criativa.
Aplicações e Impacto
O LaMDA 2 foi principalmente apresentado como um avanço de pesquisa, com o Google integrando suas capacidades em produtos como o Google Assistant e os serviços de IA do Google Cloud. No entanto, o modelo não foi lançado como uma API pública da mesma forma que os modelos de alguns concorrentes, como os da OpenAI ou da Anthropic. Em vez disso, o Google focou em usar o LaMDA 2 para melhorar seus produtos internos e para informar o desenvolvimento de modelos posteriores, como PaLM e Gemini.
O modelo também gerou discussão pública sobre a natureza da IA conversacional, especialmente depois que um engenheiro do Google afirmou que o LaMDA original havia alcançado senciência. Embora o LaMDA 2 não estivesse diretamente envolvido nessa controvérsia, ele destacou as crescentes capacidades dos modelos de diálogo e as considerações éticas que os cercam. Pesquisadores em instituições como o Laboratório de IA de Stanford e o CSAIL do MIT citaram o LaMDA 2 como um exemplo do rápido progresso na IA generativa, ao mesmo tempo em que notaram os desafios de garantir que tais modelos sejam usados de forma responsável.
Recepção e Legado
O LaMDA 2 recebeu avaliações geralmente positivas de pesquisadores de IA por suas melhorias em segurança e controlabilidade, mas alguns críticos notaram que ele ainda tinha limitações, como erros factuais ocasionais e uma tendência a ser prolixo. O mecanismo de embasamento do modelo foi visto como um passo à frente, mas nem sempre era confiável, e o Google não publicou benchmarks detalhados comparando o LaMDA 2 a outros grandes modelos de linguagem.
Apesar dessas limitações, o LaMDA 2 influenciou pesquisas subsequentes em sistemas de diálogo. Seu foco em RLHF e embasamento tornou-se prática padrão em modelos posteriores, incluindo os desenvolvidos pela OpenAI e pela Anthropic. Em 2024, o LaMDA 2 é considerado um modelo de transição no roteiro de IA do Google, preenchendo a lacuna entre os primeiros modelos conversacionais e sistemas multimodais mais avançados. Seu desenvolvimento contribuiu para os esforços mais amplos do Google na inteligência artificial, posicionando a empresa como líder no campo ao lado de outros grandes players.