Naman Goyal est un informaticien et chercheur en intelligence artificielle. Il est surtout connu pour avoir co-écrit BART, un autoencodeur de débruitage pour le pré-entraînement de modèles séquence-à-séquence, et pour ses contributions à Fairseq, une bibliothèque de deep learning open-source largement utilisée. Son travail a influencé le développement des modèles de langage de grande taille modernes.
Les recherches de Goyal s'inscrivent dans le domaine du apprentissage automatique, en particulier dans les domaines liés à l'apprentissage séquence-à-séquence et au pré-entraînement. Ses contributions relient les architectures fondamentales et les outils pratiques pour l'entraînement de grands modèles.
BART et pré-entraînement
Goyal faisait partie de l'équipe qui a publié BART en 2019. L'architecture BART combine un encodeur bidirectionnel et un décodeur autorégressif, utilisant un objectif de débruitage pour pré-entraîner sur du texte corrompu. Cette approche a permis au modèle de générer des sorties de haute qualité pour des tâches telles que le résumé et la traduction. L'article présentait le modèle avec jusqu'à 400 millions de paramètres, et il a atteint des résultats de pointe sur plusieurs références, notamment le Stanford Question Answering Dataset et GLUE.
BART a été une étape significative dans le pré-entraînement car il a unifié et étendu les idées de modèles antérieurs comme BERT et GPT. Plutôt que d'utiliser uniquement un objectif de modèle de langage standard, BART a corrompu le texte avec diverses fonctions de bruitage, y compris le masquage de jetons et la permutation d'ordre. Le rôle de Goyal a contribué au succès empirique de l'approche, qui a démontré que le pré-entraînement séquence-à-séquence pouvait être aussi efficace que les modèles purement encodeurs ou décodeurs.
Boîte à outils Fairseq
Parallèlement, Goyal a contribué à Fairseq, une bibliothèque logicielle développée chez Meta AI (anciennement Facebook AI Research). Fairseq prend en charge l'entraînement de modèles pour la traduction, le résumé et d'autres tâches séquentielles. Elle utilise PyTorch et fournit des implémentations efficaces pour le transformeur et d'autres architectures. La bibliothèque a été open-sourcée et a été largement adoptée dans le milieu académique et dans d'autres laboratoires.
Fairseq a introduit des techniques comme l'initialisation des poids, la normalisation de couche et le programme de taux d'apprentissage qui ont rendu l'entraînement de réseaux profonds plus stable. L'implication de Goyal dans Fairseq a aidé à l'ingénierie et à l'expérimentation, ce qui en a fait un outil standard pour la recherche.
Contributions à la mise à l'échelle des modèles
Dans des travaux connexes, Goyal a exploré des questions telles que le écrêtage du gradient et l'échantillonnage top-p. Il a également participé à des recherches sur la mise à l'échelle et l'entraînement par lots de grande taille, ce qui a affecté la façon dont les praticiens abordent le pré-entraînement. Par exemple, les travaux de début 2020 sur les lois de mise à l'échelle des modèles pour les modèles de langage neuronaux ont démontré que le calcul, les données et les paramètres doivent être en équilibre ; cette ligne de recherche a influencé la conception de grands modèles.
Goyal faisait également partie des chercheurs qui ont publié l'ensemble de données Natural Questions via la communauté, bien que d'autres chercheurs aient géré son attribution. Cependant, nombre de ses publications sont devenues plus tard des citations dans la littérature sur le deep learning.
Impact
Son travail sur BART et Fairseq a aidé à établir une référence pour la génération conditionnelle par traduction. Les modèles ont également informé la conception de la synthèse vocale et la recherche sur un entraînement plus efficace.
L'héritage se poursuit dans les versions ultérieures et les trains non divulgués. En 2024, BART est devenu un modèle standard dans plusieurs bibliothèques. Les contributions de Goyal ont été reconnues par le nombre de citations et la participation à des conférences de premier plan. Il a également collaboré avec des chercheurs tels que Yann Lecun et Mikel Artetxe.