Decathlonは、多言語テキスト分類システムを評価するためのベンチマークであり、2019年にワシントン大学とAI2の研究者によって導入された。これは、ある言語で訓練されたモデルを他の言語でテストする、言語横断的転移の標準化された評価が欠如していることに対処するために設計された。このベンチマークは10の異なるタスクで構成され、各タスクには英語の訓練データと複数の対象言語のテストデータがあり、ニュース、レビュー、ソーシャルメディアなどのさまざまな領域をカバーしている。その目標は、タスク固有の調整なしにモデルが言語間でどれだけうまく一般化できるかを測定することであり、多言語Transformer (architecture)モデルの開発における重要な参照点となっている。
このベンチマークは、Alexis Conneauらによる論文「XNLI: Evaluating Cross-lingual Sentence Representations」で最初に提示されたが、Decathlonフレームワーク自体は、Shijie WuとMark Dredzeによるその後の2019年の論文「Beto, Bentz, Becas: The Surprising Cross-Lingual Effectiveness of BERT」で正式に確立された。著者らは、10のタスクを含む統一された評価プロトコルを導入した。すなわち、自然言語推論（XNLI）、Named-entity recognition（CoNLL-2002およびCoNLL-2003）、品詞タグ付け（UD）、依存関係解析（UD）、意味的類似性（STS-B）、Text Classification（IMDb、Amazon、Yelp）、質問応答（MLQA）、およびMachine translation（補助タスクとして）である。各タスクは英語をソース言語とし、フランス語、ドイツ語、スペイン語、中国語、アラビア語を含む最大15言語のテストセットを備えている。
設計とタスク
Decathlonの設計は、現実的な言語横断的設定を重視している。モデルは英語データのみで訓練され、対象言語で評価され、低リソースシナリオをシミュレートする。10のタスクは3つのカテゴリにグループ化される。文レベル（XNLI、STS-B）、トークンレベル（POS、NER、依存関係解析）、および文書レベル（IMDb、Amazon、Yelp、MLQA）である。各タスクについて、ベンチマークは標準化された訓練、開発、テストの分割を提供し、訓練セットは英語に限定される（XNLIを除く。これにはいくつかの並列データが含まれる）。評価指標はタスクによって異なる。分類には精度、NERとPOSにはF1、STS-Bには相関が使用される。データセット全体のサイズは、すべてのタスクで150万を超える訓練例であり、テストセットは言語ごとに1,500から75,000例の範囲である。
主要モデルと結果
このベンチマークは、初期の多言語モデルを比較する上で重要な役割を果たした。2019年の元の論文で、WuとDredzeは、104言語で訓練された12層と1億1000万パラメータを持つTransformer (architecture)モデルである多言語BERT（mBERT）を評価した。彼らは、mBERTがすべてのタスクと言語で平均精度76.3%という強力なゼロショット性能を達成し、fastText埋め込みを使用したベースラインの68.9%と比較したことを発見した。2020年のその後の研究では、facebook-ai（提供されたリストにはないが、既知のモデルである）からのモデルであるXLM-Rが導入され、5億5000万パラメータと100言語を持つより大きなNeural networkを使用し、Decathlonでの平均スコアを81.2%に改善した。評価された他のモデルには、Google DeepMindのmT5やOpenAIのGPT-3が含まれるが、後者はこのベンチマークに特化して調整されていない。
影響と限界
Decathlonは、Machine learning研究における標準的なベンチマークとして広く採用され、2023年までに500以上の論文で引用されている。これは、多言語Deep learningモデルにおけるCross-AttentionおよびMulti-Head Attentionメカニズムの重要性を強調した。しかし、批評家は、そのタスクが主に高リソース言語であり、スワヒリ語やウルドゥー語などの低リソース言語のカバレッジが限られていると指摘している。さらに、英語の訓練データへの依存は、多言語データが利用可能な現実世界のシナリオを反映していない可能性がある。これに応じて、後のベンチマークであるXTREME（2020年）やXGLUE（2020年）は、Decathlonのフレームワークを拡張し、より多くのタスクと言語を追加した。
研究での使用
研究者は、Transfer learning技術、例えばFine-tuningやData AugmentationをテストするためにDecathlonを使用する。例えば、adversarial trainingやCurriculum Learningを使用することで、低リソース言語での性能を向上できることが研究で示されている。このベンチマークはまた、Model PruningやKnowledge distillationのテストベッドとしても機能し、DistilmBERT（6600万パラメータ）のような小さなモデルが、DecathlonでmBERTの性能の92%を達成しながら、40%高速である。2024年現在、このベンチマークは標準的な評価ツールであり続けているが、GPT-4やAnthropicのClaudeのような新しいモデルは、生成タスクに焦点を当てているため、分類タスクではなく、このベンチマークで評価されることはほとんどない。