XLM-RoBERTa est un modèle linguistique multilingue développé par Facebook AI (désormais Meta AI) qui étend le paradigme de apprentissage automatique de la modélisation de langage masqué à 100 langues. Il s'appuie sur l'architecture des transformeurs et l'approche d'entraînement de RoBERTa, une variante robustement optimisée de BERT. Le modèle est conçu pour apprendre un espace de représentation partagé entre les langues, lui permettant d'effectuer des tâches telles que la classification de texte, la reconnaissance d'entités nommées et la réponse à des questions dans les langues sur lesquelles il a été pré-entraîné, sans nécessiter de données d'entraînement spécifiques à chaque langue.
Le modèle a été introduit dans un article de recherche de 2019 intitulé « Unsupervised Cross-lingual Representation Learning at Scale » par Alexis Conneau, Kartikay Khandelwal, Naman Goyal, Vishrav Chaudhary, Guillaume Wenzek, Francisco Guzmán, Edouard Grave, Myle Ott, Luke Zettlemoyer et Veselin Stoyanov. Il a été publié en tant que modèle open-source, avec des points de contrôle disponibles pour deux tailles : XLM-R base (avec 12 couches, 768 dimensions cachées et 270 millions de paramètres) et XLM-R large (avec 24 couches, 1024 dimensions cachées et 550 millions de paramètres). Les données de pré-entraînement du modèle consistaient en un corpus CommonCrawl filtré contenant plus de 2 téraoctets de texte, équilibré entre les 100 langues.
Approche de pré-entraînement
XLM-RoBERTa utilise un objectif de modélisation de langage masqué, où un pourcentage de jetons d'entrée est masqué aléatoirement, et le modèle apprend à prédire les jetons d'origine en fonction du contexte environnant. Contrairement aux modèles multilingues antérieurs tels que XLM, qui nécessitaient des phrases parallèles ou des objectifs de modélisation de langage par traduction, XLM-RoBERTa repose uniquement sur des données monolingues de chaque langue. Cela simplifie le pipeline de pré-entraînement et permet une mise à l'échelle vers un plus grand nombre de langues. Le modèle utilise un vocabulaire partagé de 250 000 unités de sous-mots, construit avec un tokeniseur SentencePiece, ce qui permet une représentation efficace de plusieurs scripts et langues.
Pendant le pré-entraînement, le modèle a été entraîné avec un schéma de masquage dynamique, similaire à RoBERTa, où le motif de masquage change à chaque époque. L'entraînement a utilisé l'optimiseur Adam avec un taux d'apprentissage maximal de 1e-4 et une taille de lot de 8 192 séquences. Le grand modèle a été entraîné sur 512 TPU (unités de traitement tensoriel) pendant environ 1,5 million d'étapes, consommant des ressources de calcul importantes. Les auteurs ont rapporté que la performance du modèle s'améliorait avec plus de données et une taille de modèle plus grande, démontrant les avantages de la mise à l'échelle du pré-entraînement multilingue.
Capacités de transfert multilingue
Une caractéristique clé de XLM-RoBERTa est sa capacité à effectuer un transfert multilingue zero-shot. Lorsqu'il est affiné sur une tâche dans une langue (par exemple, l'anglais), le modèle peut appliquer cette connaissance à d'autres langues sans affinage supplémentaire. Cela est réalisé car l'espace de représentation partagé aligne des concepts similaires entre les langues. Dans l'article original, les auteurs ont évalué XLM-RoBERTa sur plusieurs références, notamment XNLI (inférence en langage naturel multilingue), MLQA (réponse à des questions multilingue) et NER (reconnaissance d'entités nommées). Le modèle a atteint des résultats de pointe sur ces références à l'époque, surpassant des modèles multilingues antérieurs comme mBERT et XLM.
Par exemple, sur XNLI, le grand modèle a atteint une précision moyenne de 79,2 % sur 15 langues, contre 72,6 % pour mBERT et 76,2 % pour XLM. Le modèle a également montré de bonnes performances sur des langues à faibles ressources, comme le swahili et l'ourdou, indiquant que le pré-entraînement sur des langues diverses aide à atténuer la rareté des données étiquetées. Cependant, les auteurs ont noté que la performance varie selon les langues, les langues avec plus de données d'entraînement obtenant généralement de meilleurs résultats.
Architecture et implémentation
XLM-RoBERTa suit l'architecture standard de l'encodeur transformer, sans composant décodeur. Il utilise des mécanismes d'auto-attention multi-têtes, des couches feed-forward et une normalisation de couche, comme décrit dans l'article original sur les transformeurs. Le modèle intègre un encodage positionnel appris et utilise un jeton spécial [CLS] au début de chaque séquence, dont l'état caché final est utilisé pour les tâches de classification. Le modèle prend en charge des séquences allant jusqu'à 512 jetons, ce qui est une contrainte courante pour les modèles de type BERT.
L'implémentation est disponible dans la bibliothèque Hugging Face Transformers, ce qui facilite le chargement et l'affinage du modèle pour des tâches personnalisées. Le modèle est également intégré dans d'autres frameworks tels que Fairseq, qui a été utilisé pour l'entraînement original. La version open-source comprend les poids pré-entraînés, le tokeniseur et les fichiers de configuration, permettant aux chercheurs et aux praticiens de reproduire les résultats et de construire sur le modèle. Le modèle est sous licence MIT, autorisant une utilisation commerciale et de recherche.
Impact et applications
XLM-RoBERTa a eu un impact significatif sur le domaine du traitement du langage naturel (TALN), en particulier pour les applications multilingues. Il a été largement adopté comme référence pour les benchmarks multilingues et est utilisé dans des systèmes de production pour des tâches telles que le support client multilingue, la modération de contenu et l'extraction d'informations. La capacité du modèle à gérer 100 langues avec un seul ensemble de poids réduit le besoin de modèles séparés par langue, simplifiant le déploiement et la maintenance.
Le modèle a également influencé des recherches ultérieures, notamment le développement de modèles multilingues plus grands comme mT5 et XLM-E, et a été utilisé comme composant dans des systèmes plus complexes, tels que les pipelines de génération augmentée par récupération. Son succès a démontré que la mise à l'échelle des données de pré-entraînement et de la taille du modèle peut générer des gains substantiels en compréhension multilingue, ouvrant la voie à d'autres avancées dans les grands modèles de langage multilingues.
Limites et considérations
Malgré ses forces, XLM-RoBERTa présente des limites. Le vocabulaire et les données de pré-entraînement du modèle sont biaisés vers les langues à hautes ressources, et les performances sur les langues à très faibles ressources peuvent être sous-optimales. La limite de longueur de séquence de 512 jetons restreint son utilisation pour des documents longs. De plus, le modèle ne génère pas de texte, car il s'agit d'un modèle encodeur uniquement, il n'est donc pas adapté aux tâches génératives sans adaptation. Le coût de calcul du pré-entraînement était substantiel, mais les points de contrôle publiés permettent aux utilisateurs d'éviter cette dépense. Comme avec d'autres modèles de langage, XLM-RoBERTa peut encoder des biais sociétaux présents dans les données d'entraînement, ce qui nécessite une considération attentive dans les applications en aval.
Voir aussi
- BERT (non listé, mais lié - omis)
- modèle multilingue (non listé - omis)
- RoBERTa (non listé - omis)
- transfert multilingue (non listé - omis)
(Note : Étant donné que les slugs de liens fournis n'incluent pas ces termes spécifiques, l'article utilise uniquement les slugs autorisés. Les liens internes utilisés sont Machine learning, Transformer (architecture) et Large language model.)