Thomas Scialom est un chercheur scientifique chez Meta AI (désormais intégré à la recherche en intelligence artificielle chez Meta), reconnu pour ses travaux sur les grands modèles de langage et l'apprentissage automatique. Il est surtout connu comme co-auteur de Llama 2, une famille de grands modèles de langage open-source publiés en 2023, et pour ses recherches sur l'amélioration de la précision factuelle et des capacités de raisonnement de ces modèles grâce à des techniques telles que la génération augmentée par récupération et l'apprentissage par renforcement à partir de retours humains (RLHF). Ses travaux ont influencé à la fois la recherche académique et les applications pratiques en IA générative.
La recherche de Scialom se situe à l'intersection de l'apprentissage profond, du traitement du langage naturel et des architectures de réseaux de neurones. Il a contribué à plusieurs projets chez Meta AI, notamment au développement de Llama et de ses successeurs, et a publié de nombreux articles sur des sujets comme le résumé de texte, la réponse à des questions et l'alignement des modèles. Ses contributions font partie d'un effort plus large au sein de la communauté de l'IA pour créer des modèles de langage plus fiables et plus contrôlables.
Début de carrière et éducation
Thomas Scialom a terminé ses études doctorales en informatique, se concentrant sur le traitement du langage naturel et l'apprentissage profond. Sa recherche doctorale, menée en collaboration avec des institutions académiques et des laboratoires industriels, a exploré des approches novatrices pour le résumé de texte et les modèles Sequence-to-Sequence (Seq2Seq) . Il a ensuite rejoint Meta AI (anciennement Facebook AI Research) en tant que chercheur scientifique, où il a commencé à travailler sur des modèles de langage à grande échelle.
Durant sa carrière précoce, Scialom a contribué à plusieurs articles fondamentaux sur les architectures basées sur le transformateur, en particulier dans le contexte des systèmes de résumé et de dialogue. Son travail a souvent souligné l'importance des métriques d'évaluation et de l'évaluation humaine pour évaluer la performance des modèles, un thème qui s'est poursuivi dans sa recherche ultérieure sur le RLHF.
Contributions à Llama 2
Scialom a été un contributeur clé à Llama 2, publié par Meta AI en juillet 2023. Llama 2 est une collection de grands modèles de langage pré-entraînés et affinés, allant de 7 milliards à 70 milliards de paramètres. Contrairement à son prédécesseur, Llama 2 a été mis à disposition pour un usage commercial, marquant un changement significatif dans le paysage de l'IA open-source. Scialom a co-écrit le rapport technique associé, détaillant l'architecture du modèle, les données d'entraînement et le processus d'alignement.
Un aspect notable de Llama 2 était son utilisation de l'apprentissage par renforcement à partir de retours humains pour améliorer la utilité et la sécurité. La recherche de Scialom sur le RLHF, notamment le développement de modèles de récompense et de techniques de optimisation de politique proximale (PPO), a été essentielle dans cette entreprise. La publication du modèle a stimulé une adoption généralisée et a influencé les modèles open-source subséquents d'autres organisations.
Recherche sur la génération augmentée par récupération
Au-delà de Llama 2, Scialom a apporté des contributions significatives à la génération augmentée par récupération (RAG), une méthode qui combine la récupération d'informations avec des modèles génératifs pour améliorer la précision factuelle. Son travail dans ce domaine, inclu le document "Recitation-Augmented Language Models" (2022), a démontré comment inciter les modèles à réciter des passages pertinents avant de générer des réponses peut améliorer la performance sur des tâches intensives en connaissances.
Cette ligne de recherche a abordé une limitation clé des grands modèles de langage : leur tendance à produire des informations plausibles mais incorrectes, souvent appelée Hallucination (AI). En intégrant des sources de connaissances externes, les méthodes de Scialom visaient à ancrer les réponses du modèle dans des faits vérifiables, une direction devenue centrale dans de nombreuses applications de l'IA, notamment la détection de réponses et la vérification de faits.
Impact et reconnaissance
Le travail de Scialom a été largement cité dans la communauté de l'IA, et il est un orateur fréquent aux conférences telles que NeurIPS, ICML et ACL. Ses contributions à l'IA open-source, en particulier grâce à Llama 2, ont été saluées pour avoir démocratisé l'accès à des modèles de langage avancés. Il a également collaboré avec des chercheurs d'autres institutions de premier plan, y compris Google DeepMind et OpenAI, sur des sujets liés à l'évaluation des modèles et à l'alignement.
En date de 2024, Scialom continue de travailler chez Meta AI, se concentrant sur l'amélioration du raisonnement et de la sécurité des grands modèles de langage. Sa recherche demeure influente pour façonner la direction de l'intelligence artificielle, en particulier le développement de modèles à la fois puissants et fiables.
Voir aussi
- Grand modèle de langage
- Apprentissage par renforcement à partir de retours humains
- Génération augmentée par récupération
- Meta AI