Decathlon ist ein Benchmark zur Bewertung mehrsprachiger Textklassifikationssysteme, der 2019 von Forschern der University of Washington und AI2 eingeführt wurde. Er wurde entwickelt, um den Mangel an standardisierter Bewertung für cross-lingualen Transfer zu beheben, bei dem Modelle, die auf einer Sprache trainiert wurden, auf anderen getestet werden. Der Benchmark umfasst zehn verschiedene Aufgaben, jeweils mit Trainingsdaten auf Englisch und Testdaten in mehreren Zielsprachen, die eine Reihe von Domänen wie Nachrichten, Rezensionen und soziale Medien abdecken. Sein Ziel ist es zu messen, wie gut Modelle ohne aufgabenspezifische Abstimmung über Sprachen hinweg generalisieren, was ihn zu einer zentralen Referenz in der Entwicklung mehrsprachiger Transformer-Modelle macht.
Der Benchmark wurde erstmals in dem Papier „XNLI: Evaluating Cross-lingual Sentence Representations“ von Alexis Conneau und Kollegen vorgestellt, obwohl das Decathlon-Framework selbst in einem anschließenden Papier von 2019 von Shijie Wu und Mark Dredze mit dem Titel „Beto, Bentz, Becas: The Surprising Cross-Lingual Effectiveness of BERT“ formalisiert wurde. Die Autoren führten ein einheitliches Bewertungsprotokoll ein, das zehn Aufgaben umfasst: natürliche Sprachinferenz (XNLI), Named-Entity-Erkennung (CoNLL-2002 und CoNLL-2003), Part-of-Speech-Tagging (UD), Dependency-Parsing (UD), semantische Ähnlichkeit (STS-B), Textklassifikation (IMDb, Amazon und Yelp), Frage-Antwort (MLQA) und maschinelle Übersetzung (als Hilfsaufgabe). Jede Aufgabe verwendet Englisch als Ausgangssprache, mit Testmengen in bis zu 15 Sprachen, einschließlich Französisch, Deutsch, Spanisch, Chinesisch und Arabisch.
Design und Aufgaben
Decathlons Design betont realistische cross-linguale Szenarien: Modelle werden nur mit englischen Daten trainiert und auf Zielsprachen evaluiert, was ressourcenarme Szenarien simuliert. Die zehn Aufgaben sind in drei Kategorien gruppiert: Satzebene (XNLI, STS-B), Tokenebene (POS, NER, Dependency-Parsing) und Dokumentebene (IMDb, Amazon, Yelp, MLQA). Für jede Aufgabe stellt der Benchmark standardisierte Trainings-, Entwicklungs- und Testaufteilungen bereit, wobei die Trainingsmenge auf Englisch beschränkt ist (außer für XNLI, das einige parallele Daten enthält). Die Bewertungsmetrik variiert je nach Aufgabe: Genauigkeit für Klassifikation, F1 für NER und POS und Korrelation für STS-B. Die Gesamtdatensatzgröße übersteigt 1,5 Millionen Trainingsbeispiele über alle Aufgaben, mit Testmengen von 1.500 bis 75.000 Beispielen pro Sprache.
Schlüsselmodelle und Ergebnisse
Der Benchmark war maßgeblich für den Vergleich früher mehrsprachiger Modelle. Im ursprünglichen Papier von 2019 evaluierten Wu und Dredze mehrsprachiges BERT (mBERT), ein Transformer-Modell mit 12 Schichten und 110 Millionen Parametern, trainiert auf 104 Sprachen. Sie fanden heraus, dass mBERT eine starke Zero-Shot-Leistung erzielte, mit einer durchschnittlichen Genauigkeit von 76,3 % über alle Aufgaben und Sprachen, verglichen mit 68,9 % für eine Baseline mit fastText-Einbettungen. Nachfolgende Arbeiten im Jahr 2020 führten XLM-R ein, ein Modell von facebook-ai (obwohl nicht in der bereitgestellten Liste, ist es ein bekanntes Modell), das ein größeres neuronales Netz mit 550 Millionen Parametern und 100 Sprachen verwendete und die durchschnittlichen Werte auf 81,2 % bei Decathlon verbesserte. Weitere evaluierte Modelle umfassen Google DeepMinds mT5 und OpenAIs GPT-3, obwohl letzteres nicht speziell für diesen Benchmark abgestimmt wurde.
Auswirkungen und Einschränkungen
Decathlon wurde weithin als Standard-Benchmark in der maschinellen Lern-Forschung übernommen und bis 2023 in über 500 Papieren zitiert. Er hob die Bedeutung von Cross-Attention- und Multi-Head-Attention-Mechanismen in mehrsprachigen Deep-Learning-Modellen hervor. Kritiker merken jedoch an, dass seine Aufgaben überwiegend ressourcenreiche Sprachen betreffen, mit begrenzter Abdeckung ressourcenarmer Sprachen wie Swahili oder Urdu. Darüber hinaus spiegelt die Abhängigkeit des Benchmarks von englischen Trainingsdaten möglicherweise nicht reale Szenarien wider, in denen mehrsprachige Daten verfügbar sind. Als Reaktion darauf erweiterten spätere Benchmarks wie XTREME (2020) und XGLUE (2020) das Decathlon-Framework, indem sie mehr Aufgaben und Sprachen hinzufügten.
Verwendung in der Forschung
Forscher verwenden Decathlon, um Transfer-Lern-Techniken wie Feinabstimmung und Datenaugmentierung zu testen. Beispielsweise haben Studien gezeigt, dass die Verwendung von adversarialem Training oder Curriculum-Lernen die Leistung bei ressourcenarmen Sprachen verbessern kann. Der Benchmark dient auch als Testumgebung für Modellbeschneidung und Destillation, bei denen kleinere Modelle wie DistilmBERT (66 Millionen Parameter) 92 % der mBERT-Leistung bei Decathlon erreichen, während sie 40 % schneller sind. Stand 2024 bleibt der Benchmark ein Standard-Bewertungswerkzeug, obwohl neuere Modelle wie GPT-4 und Anthropics Claude selten darauf evaluiert werden, da sie sich eher auf generative Aufgaben als auf Klassifikation konzentrieren.