Thomas Scialom é um cientista de pesquisa na Meta AI (agora parte da pesquisa em IA da Meta), reconhecido por seu trabalho em modelos de linguagem de grande escala e aprendizado de máquina. Ele é mais conhecido como coautor do Llama 2, uma família de modelos de linguagem de grande escala de código aberto lançada em 2023, e por sua pesquisa em melhorar a precisão factual e as capacidades de raciocínio desses modelos por meio de técnicas como geração aumentada por recuperação e aprendizado por reforço com feedback humano (RLHF). Seu trabalho influenciou tanto a pesquisa acadêmica quanto as aplicações práticas em IA generativa.
A pesquisa de Scialom situa-se na interseção de aprendizado profundo, processamento de linguagem natural e arquiteturas de redes neurais. Ele contribuiu para diversos projetos na Meta AI, incluindo o desenvolvimento do Llama e seus sucessores, e publicou extensivamente sobre tópicos como sumarização de texto, resposta a perguntas e alinhamento de modelos. Suas contribuições fazem parte de um esforço mais amplo na comunidade de IA para criar modelos de linguagem mais confiáveis e controláveis.
Início da Carreira e Educação
Thomas Scialom concluiu seus estudos de doutorado em ciência da computação, com foco em processamento de linguagem natural e aprendizado profundo. Sua pesquisa de doutorado, realizada em colaboração com instituições acadêmicas e laboratórios da indústria, explorou abordagens inovadoras para sumarização de texto e modelos sequência a sequência. Ele posteriormente ingressou na Meta AI (anteriormente Facebook AI Research) como cientista de pesquisa, onde começou a trabalhar em modelos de linguagem de grande escala.
Durante o início de sua carreira, Scialom contribuiu para vários artigos fundamentais sobre arquiteturas baseadas em transformers, particularmente no contexto de sumarização e sistemas de diálogo. Seu trabalho frequentemente enfatizava a importância de métricas de avaliação e avaliação humana na avaliação do desempenho de modelos, um tema que continuou em sua pesquisa posterior sobre RLHF.
Contribuições para o Llama 2
Scialom foi um contribuidor-chave para o Llama 2, lançado pela Meta AI em julho de 2023. O Llama 2 é uma coleção de modelos de linguagem de grande escala pré-treinados e ajustados, variando de 7 bilhões a 70 bilhões de parâmetros. Diferentemente de seu predecessor, o Llama 2 foi disponibilizado para uso comercial, marcando uma mudança significativa no cenário de IA de código aberto. Scialom coautorou o relatório técnico que o acompanha, que detalhava a arquitetura do modelo, os dados de treinamento e o processo de alinhamento.
Um aspecto notável do Llama 2 foi o uso de aprendizado por reforço com feedback humano para melhorar a utilidade e a segurança. A pesquisa de Scialom sobre RLHF, incluindo o desenvolvimento de modelos de recompensa e técnicas de otimização de política proximal, foi fundamental nesse esforço. O lançamento do modelo impulsionou uma adoção generalizada e influenciou modelos de código aberto subsequentes de outras organizações.
Pesquisa em Geração Aumentada por Recuperação
Além do Llama 2, Scialom fez contribuições significativas para a geração aumentada por recuperação (RAG), um método que combina recuperação de informações com modelos generativos para melhorar a precisão factual. Seu trabalho nessa área, incluindo o artigo "Recitation-Augmented Language Models" (2022), demonstrou como instruir modelos a recitar passagens relevantes antes de gerar respostas pode melhorar o desempenho em tarefas intensivas em conhecimento.
Essa linha de pesquisa abordou uma limitação-chave dos modelos de linguagem de grande escala: sua tendência a produzir informações plausíveis, mas incorretas, frequentemente chamada de alucinação. Ao integrar fontes de conhecimento externas, os métodos de Scialom visavam fundamentar as saídas do modelo em fatos verificáveis, uma direção que se tornou central em muitas aplicações de IA, incluindo resposta a perguntas e verificação de fatos.
Impacto e Reconhecimento
O trabalho de Scialom tem sido amplamente citado na comunidade de IA, e ele é um palestrante frequente em conferências como NeurIPS, ICML e ACL. Suas contribuições para a IA de código aberto, particularmente por meio do Llama 2, foram elogiadas por democratizar o acesso a modelos de linguagem avançados. Ele também colaborou com pesquisadores de outras instituições líderes, incluindo Google DeepMind e OpenAI, em tópicos relacionados à avaliação e alinhamento de modelos.
Em 2024, Scialom continua trabalhando na Meta AI, com foco em melhorar o raciocínio e a segurança de modelos de linguagem de grande escala. Sua pesquisa permanece influente na definição da direção da inteligência artificial, particularmente no desenvolvimento de modelos que sejam ao mesmo tempo poderosos e confiáveis.
Ver Também
- Modelo de linguagem de grande escala
- Aprendizado por reforço com feedback humano
- Geração aumentada por recuperação
- Meta AI