Guillaume Lample est un informaticien français et chercheur scientifique chez Meta AI (anciennement Facebook AI Research). Il est surtout connu pour ses contributions aux architectures de réseaux de neurones pour le traitement du langage naturel, notamment en tant que co-auteur de la série LLaMA de grands modèles de langage. Ses travaux couvrent le apprentissage automatique, le apprentissage profond, et les modèles basés sur le transformer.
Lample a terminé son doctorat en informatique à Carnegie Mellon University en 2016, où il a travaillé sous la supervision de Alexei Efros et Ruslan Salakhutdinov. Sa recherche doctorale s'est concentrée sur l'apprentissage non supervisé et les modèles génératifs, produisant des travaux sur l'adaptation de domaine au niveau des pixels et la génération d'images. Après avoir obtenu son diplôme, il a rejoint Facebook AI Research(aujourd'hui Meta AI) en 2016 en tant que chercheur scientifique.
Traduction automatique neuronale
Les premiers travaux de Lample chez Facebook AI Research se sont concentrés sur la traduction automatique neuronale. En 2017, il a co-écrit l'article « Unsupervised Machine Translation Using Monolingual Corpora Only, » présenté à la Conférence internationale sur les représentations de l'apprentissage(ICLR. L'article a démontré qu'un système de traduction pouvait être entraîné sans corpus parallèles, en utilisant uniquement du texte monolingue dans chaque langue. L'approche exploitait des espaces latents partagés et des autoencodeurs de débruitage, obtenant des résultats compétitifs sur les benchmarks anglais-français et anglais-allemand. Ce travail a été suivi par « Phrase-Based & Neural Unsupervised Machine Translation » en 2018, qui combinait des méthodes statistiques basées sur les phrases avec des composants neuronaux.
Modélisation du langage cross-lingue
En 2019, Lample et ses collègues ont introduit le modèle de langage cross-lingue(XLM, décrit dans l'article « Cross-lingual Language Model Pretraining. » Le modèle utilisait un vocabulaire partagé et des objectifs de modélisation du langage masquée à travers plusieurs langues, permettant un transfert zero-shot pour des tâches comme la reconnaissance d'entités nommées et la classification de texte. XLM a obtenu des résultats de pointe sur le benchmark XNLI à l'époque, surpassant les modèles multilingues précédents. L'approche a influencé les modèles multilingues ultérieurs tels que XLM-R et mBERT.
LLaMA et grands modèles de langage
Lample était un contributeur clé de la famille de modèles LLaMA chez Meta AI. Le premier modèle LLaMA, publié en février 2023, est disponible en quatre tailles : 7B, 13B, 33B, et 65B paramètres. Le rapport technique, « LLaMA: Open and Efficient Foundation Language Models, » détaillait comment les modèles avaient été entraînés sur des ensembles de données publiquement disponibles totalisant 1.4 billion de jetons. Le rôle de Lample comprenait des travaux sur l'architecture des modèles et la stabilité de l'entraînement. LLaMA-2, publié en juillet 2023, a été étendu à 70B paramètres et a introduit une licence commerciale. LLaMA-3, publié en avril 2024, comprenait des variantes 8B et 70B, avec un modèle 405B suivant en juillet 2024. Ces modèles ont été largement adoptés dans la communauté IA open-source et ont servi de base pour de nombreux dérivés affinés.
Autres contributions de recherche
Au-delà de la traduction et des modèles de langage, Lample a travaillé sur la génération de code et la synthèse de programmes. En 2021, il a co-écrit « CodeT5 » (avec des collègues chez Salesforce Research), un modèle pré-entraîné encodeur-décodeur unifié pour la compréhension et la génération de code. Il a également contribué à des recherches sur le apprentissage en quelques exemples et le ingénierie de prompts, y compris l'article de 2022 « Language Models are Few-Shot Learners »(bien que cet article spécifique soit plus communément associé à OpenAI's GPT-3). Chez Meta AI, il a été impliqué dans des projets explorant l'apprentissage multimodal et le apprentissage par renforcement à partir de retours humains.
Impact et reconnaissance
Les travaux de Lample ont été cités plus de 30,000 fois en date de 2024, selon Google Scholar. Ses articles sur la traduction automatique non supervisée et le pré-entraînement cross-lingue sont parmi les plus cités dans le domaine. Il a servi de président de domaine pour des conférences majeures y compris NeurIPS et ACL. En 2023, il a été nommé l'un des « 40 sous 40 » par le magazine technologique français L'Usine Nouvelle. Il continue de travailler chez Meta AI à Paris, où il dirige une équipe axée sur les modèles génératifs à grande échelle.
Publications sélectionnées
- « Unsupervised Machine Translation Using Monolingual Corpora Only »(ICLR 2017)
- « Phrase-Based & Neural Unsupervised Machine Translation »(EMNLP 2018)
- « Cross-lingual Language Model Pretraining »(NeurIPS 2019)
- « LLaMA: Open and Efficient Foundation Language Models »(2023
- « LLaMA-2: Open Foundation and Fine-Tuned Chat Models »(2023
- « The Llama 3 Herd of Models »(2024
Sa recherche a été soutenue par des subventions du Conseil européen de la recherche et de l'Agence nationale de la recherche française, bien que les numéros de subvention spécifiques ne soient pas publiquement listés. En date de 2024, Lample reste un chercheur actif, avec des travaux récents se concentrant sur l'amélioration de l'efficacité et de la sécurité des grands modèles de langage.