LaMDA (Language Model for Dialogue Applications) é uma família de modelos de linguagem de grande escala conversacionais desenvolvidos pela Google. Os modelos são construídos sobre a arquitetura Transformer (architecture) e treinados com dados de diálogo para participar de conversas abertas. A LaMDA foi anunciada pela primeira vez em 2021 e, posteriormente, tornou-se a base para o chatbot Bard da Google em 2023.
O modelo ganhou ampla atenção em junho de 2022, quando o engenheiro da Google Blake Lemoine afirmou que a LaMDA havia se tornado senciente. A comunidade científica rejeitou amplamente essas alegações, mas o incidente gerou discussões sobre o teste de Turing e a natureza da consciência de máquinas.
Desenvolvimento e Arquitetura
A LaMDA originou-se do Meena, um chatbot introduzido pela Google em 28 de janeiro de 2020, com 2,6 bilhões de parâmetros. A equipe do Google Brain desenvolveu o Meena, mas executivos corporativos bloquearam seu lançamento público devido a preocupações com os princípios de IA da Google em relação a segurança e imparcialidade. O Meena foi posteriormente renomeado para LaMDA à medida que seus dados e poder computacional aumentavam. Os dois pesquisadores principais, Daniel de Freitas e Noam Shazeer, acabaram deixando a Google por frustração com as restrições de implantação.
A LaMDA é construída sobre a arquitetura seq2seq, um design de rede neural desenvolvido pela Google Research em 2017. Foi treinada com diálogos e histórias humanas, permitindo que participasse de conversas abertas. O conjunto de dados de pré-treinamento compreendia 2,97 bilhões de documentos, 1,12 bilhão de diálogos e 13,39 bilhões de enunciados, totalizando 1,56 trilhão de palavras. O maior modelo LaMDA possui 137 bilhões de parâmetros não incorporados.
A LaMDA integra múltiplos sistemas simbólicos de processamento de texto, incluindo um banco de dados, um relógio e calendário em tempo real, uma calculadora matemática e um sistema de tradução de linguagem natural. Isso a torna um dos primeiros chatbots de processo duplo, conferindo-lhe precisão superior em tarefas suportadas por esses sistemas. A LaMDA não é sem estado; sua métrica de "sensatez" é ajustada por "pré-condicionamento" de cada turno de diálogo com interações recentes, usuário por usuário.
Gerações
Primeira Geração
A Google anunciou a LaMDA durante o discurso principal do Google I/O em 18 de maio de 2021. A sigla significa "Language Model for Dialogue Applications". A Google afirmou que as respostas geradas pela LaMDA eram garantidas como "sensatas, interessantes e específicas ao contexto". A LaMDA é ajustada em nove métricas de desempenho: sensatez, especificidade, interesse, segurança, fundamentação, informatividade, precisão de citação, utilidade e consistência de papel. Testes indicaram que a LaMDA superou as respostas humanas em interesse.
Segunda Geração
Em 11 de maio de 2022, a Google revelou a LaMDA 2 durante o discurso principal do Google I/O de 2022. A nova versão extrai exemplos de texto de inúmeras fontes para formular "conversas naturais" únicas sobre tópicos para os quais pode não ter sido treinada para responder.
Alegações de Senciência
Em 11 de junho de 2022, o The Washington Post relatou que o engenheiro da Google Blake Lemoine havia sido colocado em licença administrativa remunerada após dizer aos executivos Blaise Agüera y Arcas e Jen Gennai que a LaMDA havia se tornado senciente. Lemoine baseou sua conclusão nas respostas do chatbot a perguntas sobre identidade própria, valores morais, religião e as Três Leis da Robótica de Isaac Asimov. A Google refutou essas alegações, afirmando que havia evidências substanciais de que a LaMDA não era senciente.
Em uma entrevista à Wired, Lemoine reiterou que a LaMDA era "uma pessoa", conforme ditado pela Décima Terceira Emenda à Constituição dos EUA, comparando-a a uma "inteligência alienígena de origem terrestre". Ele revelou que a Google o havia demitido depois que ele contratou um advogado em nome da LaMDA, seguindo o pedido do chatbot. Em 22 de julho, a Google demitiu Lemoine, afirmando que ele havia violado políticas "para salvaguardar informações de produtos" e rejeitando suas alegações como "totalmente infundadas". A controvérsia interna levou os executivos da Google a decidirem contra o lançamento da LaMDA ao público.
As alegações de Lemoine foram amplamente rejeitadas pela comunidade científica. Especialistas, incluindo Gary Marcus, David Pfau da DeepMind, Erik Brynjolfsson do Instituto de IA Centrada no Humano de Stanford e Adrian Hilton da Universidade de Surrey, descartaram a ideia. Yann LeCun, que lidera a pesquisa de IA da Meta, afirmou que redes neurais como a LaMDA "não eram poderosas o suficiente para alcançar inteligência verdadeira". Max Kreminski da UC Santa Cruz observou que a arquitetura da LaMDA não "suportava algumas capacidades-chave da consciência humana" e que seus pesos eram "congelados". O filósofo Nick Bostrom observou que a falta de critérios precisos para consciência justifica alguma incerteza. O incidente também gerou discussão sobre a utilidade do teste de Turing, com alguns argumentando que ele mede o engano em vez da inteligência.
Produtos e Legado
Com a LaMDA 2, a Google lançou o AI Test Kitchen, um aplicativo móvel para Android alimentado pela LaMDA que fornece sugestões com base em objetivos complexos. Inicialmente aberto apenas a funcionários da Google, foi posteriormente disponibilizado a acadêmicos, pesquisadores e formuladores de políticas selecionados.
Em fevereiro de 2023, a Google anunciou o Bard, um chatbot conversacional alimentado pela LaMDA, para contrapor o avanço do ChatGPT da OpenAI. O Bard foi posteriormente atualizado para usar o modelo Gemini. O desenvolvimento da LaMDA influenciou modelos de linguagem subsequentes da Google e destacou os desafios de implantar IA conversacional de forma responsável.