Decathlon是一个用于评估多语言文本分类系统的基准测试，由华盛顿大学和AI2的研究人员于2019年提出。它旨在解决跨语言迁移缺乏标准化评估的问题，即在一个语言上训练的模型在其他语言上进行测试。该基准包含十个不同的任务，每个任务都有英语训练数据和多种目标语言的测试数据，涵盖新闻、评论和社交媒体等领域。其目标是衡量模型在没有任务特定调整的情况下跨语言泛化的能力，使其成为多语言Transformer (architecture)模型发展中的关键参考。
该基准首次在Alexis Conneau及其同事的论文《XNLI: Evaluating Cross-lingual Sentence Representations》中提出，但Decathlon框架本身是在2019年由Shijie Wu和Mark Dredze的后续论文《Beto, Bentz, Becas: The Surprising Cross-Lingual Effectiveness of BERT》中正式确立的。作者引入了一个统一的评估协议，包括十个任务：自然语言推理（XNLI）、命名实体识别（CoNLL-2002和CoNLL-2003）、词性标注（UD）、依存句法分析（UD）、语义相似度（STS-B）、文本分类（IMDb、Amazon和Yelp）、问答（MLQA）以及机器翻译（作为辅助任务）。每个任务使用英语作为源语言，测试集涵盖多达15种语言，包括法语、德语、西班牙语、中文和阿拉伯语。
设计与任务
Decathlon的设计强调现实的跨语言场景：模型仅使用英语数据训练，并在目标语言上进行评估，模拟低资源场景。十个任务分为三类：句子级（XNLI、STS-B）、词元级（POS、NER、依存句法分析）和文档级（IMDb、Amazon、Yelp、MLQA）。对于每个任务，基准提供了标准化的训练、开发和测试划分，其中训练集仅限于英语（XNLI除外，它包含一些平行数据）。评估指标因任务而异：分类使用准确率，NER和POS使用F1，STS-B使用相关性。所有任务的总数据集规模超过150万个训练样本，每种语言的测试集从1,500到75,000个样本不等。
关键模型与结果
该基准在比较早期多语言模型方面发挥了重要作用。在2019年的原始论文中，Wu和Dredze评估了多语言BERT（mBERT），这是一个具有12层和1.1亿参数的Transformer (architecture)模型，在104种语言上训练。他们发现mBERT实现了强大的零样本性能，在所有任务和语言上的平均准确率为76.3%，而使用fastText嵌入的基线为68.9%。2020年的后续工作引入了XLM-R，这是一个来自facebook-ai的模型（尽管不在提供的列表中，但它是已知模型），使用更大的神经网络，具有5.5亿参数和100种语言，将Decathlon上的平均分数提高到81.2%。其他评估的模型包括Google DeepMind的mT5和OpenAI的GPT-3，尽管后者并未针对此基准进行专门调整。
影响与局限性
Decathlon已被广泛采用为机器学习研究中的标准基准，到2023年被引用超过500篇论文。它强调了交叉注意力和多头注意力机制在多语言深度学习模型中的重要性。然而，批评者指出，其任务主要集中在高资源语言上，对斯瓦希里语或乌尔都语等低资源语言的覆盖有限。此外，该基准依赖英语训练数据可能无法反映现实世界中多语言数据可用的场景。作为回应，后来的基准如XTREME（2020）和XGLUE（2020）扩展了Decathlon的框架，增加了更多任务和语言。
研究中的应用
研究人员使用Decathlon来测试迁移学习技术，如微调和数据增强。例如，研究表明，使用对抗训练或课程学习可以提高低资源语言的性能。该基准还作为模型剪枝和蒸馏的测试平台，其中较小的模型如DistilmBERT（6600万参数）在Decathlon上达到mBERT性能的92%，同时速度快40%。截至2024年，该基准仍然是标准的评估工具，尽管像GPT-4和Anthropic的Claude这样的新模型很少在其上评估，因为它们专注于生成任务而非分类任务。