Guillaume Lample é um cientista da computação francês e cientista pesquisador na Meta AI (anteriormente Facebook AI Research). Ele é mais conhecido por suas contribuições para arquiteturas de redes neurais para processamento de linguagem natural, particularmente como coautor da série LLaMA de grandes modelos de linguagem. Seu trabalho abrange aprendizado de máquina, aprendizado profundo e modelos baseados em transformers.
Lample concluiu seu doutorado em ciência da computação na Carnegie Mellon University em 2016, onde trabalhou sob a supervisão de Alexei Efros e Ruslan Salakhutdinov. Sua pesquisa de doutorado focou em aprendizado não supervisionado e modelos generativos, produzindo trabalhos sobre adaptação de domínio em nível de pixel e geração de imagens. Após se formar, ele ingressou na Facebook AI Research (agora Meta AI) em 2016 como cientista pesquisador.
Tradução Automática Neural
O trabalho inicial de Lample na Facebook AI Research centrou-se na tradução automática neural. Em 2017, ele coautorou o artigo "Unsupervised Machine Translation Using Monolingual Corpora Only", apresentado na Conferência Internacional sobre Representações de Aprendizado (ICLR). O artigo demonstrou que um sistema de tradução poderia ser treinado sem corpora paralelos, usando apenas texto monolíngue em cada idioma. A abordagem aproveitou espaços latentes compartilhados e autoencoders de denoising, alcançando resultados competitivos nos benchmarks de inglês-francês e inglês-alemão. Este trabalho foi seguido por "Phrase-Based & Neural Unsupervised Machine Translation" em 2018, que combinou métodos estatísticos baseados em frases com componentes neurais.
Modelagem de Linguagem Multilíngue
Em 2019, Lample e colegas introduziram o modelo de linguagem multilíngue (XLM), descrito no artigo "Cross-lingual Language Model Pretraining". O modelo usava um vocabulário compartilhado e objetivos de modelagem de linguagem mascarada em vários idiomas, permitindo transferência zero-shot para tarefas como reconhecimento de entidades nomeadas e classificação de texto. O XLM alcançou resultados de ponta no benchmark XNLI na época, superando modelos multilíngues anteriores. A abordagem influenciou modelos multilíngues subsequentes, como XLM-R e mBERT.
LLaMA e Grandes Modelos de Linguagem
Lample foi um contribuidor central para a família de modelos LLaMA na Meta AI. O primeiro modelo LLaMA, lançado em fevereiro de 2023, veio em quatro tamanhos: 7B, 13B, 33B e 65B parâmetros. O relatório técnico, "LLaMA: Open and Efficient Foundation Language Models", detalhou como os modelos foram treinados em conjuntos de dados publicamente disponíveis totalizando 1,4 trilhão de tokens. O papel de Lample incluiu trabalho na arquitetura do modelo e estabilidade de treinamento. O LLaMA-2, lançado em julho de 2023, expandiu para 70B parâmetros e introduziu uma licença comercial. O LLaMA-3, lançado em abril de 2024, incluiu variantes de 8B e 70B, com um modelo de 405B seguindo em julho de 2024. Esses modelos foram amplamente adotados na comunidade de IA de código aberto e serviram como base para inúmeros derivados ajustados.
Outras Contribuições de Pesquisa
Além de tradução e modelos de linguagem, Lample trabalhou em geração de código e síntese de programas. Em 2021, ele coautorou "CodeT5" (com colegas da Salesforce Research), um modelo unificado pré-treinado de codificador-decodificador para compreensão e geração de código. Ele também contribuiu para pesquisas sobre aprendizado de poucos exemplos e engenharia de prompts, incluindo o artigo de 2022 "Language Models are Few-Shot Learners" (embora este artigo específico seja mais comumente associado ao GPT-3 da OpenAI). Na Meta AI, ele esteve envolvido em projetos explorando aprendizado multimodal e aprendizado por reforço a partir de feedback humano.
Impacto e Reconhecimento
O trabalho de Lample foi citado mais de 30.000 vezes até 2024, de acordo com o Google Scholar. Seus artigos sobre tradução automática não supervisionada e pré-treinamento multilíngue estão entre os mais citados no campo. Ele atuou como chair de área em conferências importantes, incluindo NeurIPS e ACL. Em 2023, ele foi nomeado um dos "40 under 40" pela revista de tecnologia francesa L'Usine Nouvelle. Ele continua trabalhando na Meta AI em Paris, onde lidera uma equipe focada em modelos generativos em larga escala.
Publicações Selecionadas
- "Unsupervised Machine Translation Using Monolingual Corpora Only" (ICLR 2017)
- "Phrase-Based & Neural Unsupervised Machine Translation" (EMNLP 2018)
- "Cross-lingual Language Model Pretraining" (NeurIPS 2019)
- "LLaMA: Open and Efficient Foundation Language Models" (2023)
- "LLaMA-2: Open Foundation and Fine-Tuned Chat Models" (2023)
- "The Llama 3 Herd of Models" (2024)
Sua pesquisa foi apoiada por bolsas do Conselho Europeu de Pesquisa e da Agência Nacional de Pesquisa Francesa, embora números específicos de bolsas não sejam listados publicamente. Até 2024, Lample permanece um pesquisador ativo, com trabalhos recentes focados em melhorar a eficiência e a segurança de grandes modelos de linguagem.