XLM-RoBERTa是由Facebook AI（现为Meta AI）开发的一种跨语言模型，它将机器学习的掩码语言建模范式扩展到了100种语言。它基于Transformer架构和RoBERTa（BERT的一种稳健优化变体）的训练方法构建。该模型旨在学习跨语言的共享表示空间，使其能够在预训练所覆盖的语言上执行文本分类、命名实体识别和问答等任务，而无需为每种语言提供特定任务的训练数据。
该模型在2019年由Alexis Conneau、Kartikay Khandelwal、Naman Goyal、Vishrav Chaudhary、Guillaume Wenzek、Francisco Guzmán、Edouard Grave、Myle Ott、Luke Zettlemoyer和Veselin Stoyanov发表的研究论文《Unsupervised Cross-lingual Representation Learning at Scale》中提出。它以开源模型的形式发布，提供了两种规模的检查点：XLM-R base（12层，768隐藏维度，2.7亿参数）和XLM-R large（24层，1024隐藏维度，5.5亿参数）。模型的预训练数据由经过过滤的CommonCrawl语料库组成，包含超过2TB的文本，并在100种语言之间进行了平衡。
预训练方法
XLM-RoBERTa使用掩码语言建模目标，即随机掩码一定比例的输入标记，模型根据周围上下文预测原始标记。与早期的跨语言模型（如XLM）不同，XLM-RoBERTa仅依赖每种语言的单语数据，而不需要平行句或翻译语言建模目标。这简化了预训练流程，并使其能够扩展到更多语言。模型使用共享的25万子词单元词汇表，通过SentencePiece分词器构建，能够高效表示多种文字和语言。
在预训练期间，模型采用了与RoBERTa类似的动态掩码方案，即掩码模式随每个训练周期变化。训练使用Adam优化器，峰值学习率为1e-4，批大小为8192个序列。大型模型在512个TPU（张量处理单元）上训练了约150万步，消耗了大量计算资源。作者报告称，模型性能随数据量和模型规模的增加而提升，证明了扩展跨语言预训练的益处。
跨语言迁移能力
XLM-RoBERTa的一个关键特性是其零样本跨语言迁移能力。当在一种语言（如英语）的任务上进行微调后，模型无需额外微调即可将该知识应用于其他语言。这是因为共享表示空间在语言间对齐了相似概念。在原始论文中，作者在多个基准上评估了XLM-RoBERTa，包括XNLI（跨语言自然语言推理）、MLQA（多语言问答）和NER（命名实体识别）。该模型在当时这些基准上取得了最先进的结果，优于mBERT和XLM等先前多语言模型。
例如，在XNLI上，大型模型在15种语言上的平均准确率达到79.2%，而mBERT为72.6%，XLM为76.2%。模型在斯瓦希里语和乌尔都语等低资源语言上也表现出色，表明对多样语言的预训练有助于缓解标注数据稀缺的问题。然而，作者指出性能因语言而异，训练数据较多的语言通常取得更好的结果。
架构与实现
XLM-RoBERTa遵循标准的Transformer编码器架构，不包含解码器组件。它使用多头自注意力机制、前馈层和层归一化，如原始Transformer论文所述。模型采用学习式位置编码，并在每个序列开头使用特殊标记[CLS]，其最终隐藏状态用于分类任务。模型支持最长512个标记的序列，这是BERT风格模型的常见限制。
该实现可在Hugging Face Transformers库中获取，便于加载和微调模型以用于自定义任务。模型还集成到了Fairseq等其他框架中，后者用于原始训练。开源发布包括预训练权重、分词器和配置文件，使研究人员和从业者能够复现结果并在此基础上进行构建。模型采用MIT许可证，允许商业和研究用途。
影响与应用
XLM-RoBERTa对自然语言处理（NLP）领域产生了重大影响，尤其是在多语言应用方面。它被广泛用作跨语言基准的基线，并用于多语言客户支持、内容审核和信息提取等生产系统。该模型能够用一组权重处理100种语言，减少了对每种语言单独建模的需求，简化了部署和维护。
该模型还影响了后续研究，包括mT5和XLM-E等更大规模多语言模型的开发，并被用作检索增强生成流程等更复杂系统的组件。它的成功表明，扩展预训练数据和模型规模可以显著提升跨语言理解能力，为多语言大型语言模型的进一步发展铺平了道路。
局限性与注意事项
尽管XLM-RoBERTa具有诸多优势，但也存在局限性。模型的词汇表和预训练数据偏向高资源语言，在极低资源语言上的性能可能不尽如人意。512个标记的序列长度限制制约了其在长文档上的应用。此外，由于该模型是仅编码器模型，无法生成文本，因此不适合直接用于生成任务。预训练的计算成本很高，但发布的检查点使用户无需承担该开销。与其他语言模型一样，XLM-RoBERTa可能编码训练数据中存在的社会偏见，这在下游应用中需要谨慎考虑。