PaLM 2 (Pathways Language Model 2) é um modelo de linguagem de grande escala desenvolvido pelo Google AI, anunciado na palestra anual do Google I/O em maio de 2023. É uma versão atualizada do modelo PaLM original, com cerca de 340 bilhões de parâmetros e treinamento em 3,6 trilhões de tokens. O PaLM 2 é projetado para se destacar em uma ampla gama de tarefas, incluindo raciocínio de senso comum, raciocínio aritmético, geração de código e tradução, com ênfase particular em habilidades multilíngues aprimoradas.
O modelo PaLM original, introduzido em abril de 2022, era um modelo de linguagem de grande escala baseado em transformer, denso, somente decodificador, com 540 bilhões de parâmetros. Os pesquisadores também treinaram versões menores com 8 e 62 bilhões de parâmetros para estudar os efeitos da escala do modelo. O PaLM 2 se baseia nessa fundação, oferecendo desempenho aprimorado e cobertura de idiomas mais ampla.
Arquitetura e Treinamento
O PaLM 2 é um modelo transformer denso, somente decodificador, semelhante ao seu predecessor. Ele é pré-treinado em um corpus de alta qualidade de 780 bilhões de tokens, que inclui páginas da web filtradas, livros, artigos da Wikipédia, notícias, código-fonte de repositórios de código aberto no GitHub e conversas em redes sociais. O conjunto de dados é baseado no usado para treinar o modelo LaMDA do Google, com conversas em redes sociais compondo 50% do corpus para aprimorar as habilidades conversacionais.
O PaLM 540B original foi treinado em dois Pods TPU v4, cada um com 3.072 chips TPU v4 conectados a 768 hosts, usando uma combinação de paralelismo de modelo e dados. Essa configuração, totalizando 6.144 chips, alcançou uma utilização recorde de FLOPs de hardware de 57,8%, marcando a maior eficiência de treinamento para modelos de linguagem de grande escala nessa escala.
Capacidades e Variantes
O PaLM 2 é capaz de realizar uma ampla gama de tarefas, incluindo raciocínio de senso comum, raciocínio aritmético, explicação de piadas, geração de código e tradução. Quando combinado com prompting de cadeia de pensamento, ele alcança um desempenho significativamente melhor em conjuntos de dados que exigem raciocínio de múltiplas etapas, como problemas de palavras e questões baseadas em lógica.
O Google e a DeepMind desenvolveram o Med-PaLM, uma versão do PaLM 540B ajustada em dados médicos, que supera modelos anteriores em benchmarks de perguntas e respostas médicas. O Med-PaLM foi o primeiro a obter uma pontuação de aprovação em questões de licenciamento médico dos EUA, fornecendo raciocínio e autoavaliação além de respostas precisas.
O Google também estendeu o PaLM usando um transformer de visão para criar o PaLM-E, um modelo de visão-linguagem para manipulação robótica sem a necessidade de retreinamento ou ajuste fino. Em junho de 2023, o Google anunciou o AudioPaLM para tradução de fala para fala, que usa a arquitetura e a inicialização do PaLM-2.
Lançamento e Acesso
O PaLM original permaneceu privado até março de 2023, quando o Google lançou uma API para o PaLM e várias outras tecnologias. A API foi inicialmente disponibilizada a um número limitado de desenvolvedores que entraram em uma lista de espera antes do lançamento público. O PaLM 2 foi anunciado em maio de 2023 e espera-se que seja integrado a vários produtos e serviços do Google.
Impacto e Legado
O PaLM 2 representa um avanço significativo em modelos de linguagem de grande escala, particularmente em compreensão multilíngue e raciocínio. Seu desenvolvimento está alinhado com os esforços contínuos no campo da inteligência artificial e aprendizado de máquina, contribuindo para o panorama mais amplo da IA generativa. O PaLM 2 é considerado um sucessor do LaMDA e um predecessor do Gemini, refletindo a inovação contínua do Google nesse domínio.