Decathlon은 다국어 텍스트 분류 시스템을 평가하기 위한 벤치마크로, 2019년 워싱턴 대학교와 AI2의 연구자들이 도입했다. 이 벤치마크는 한 언어로 훈련된 모델을 다른 언어로 테스트하는 교차 언어 전이(cross-lingual transfer)에 대한 표준화된 평가가 부족하다는 문제를 해결하기 위해 설계되었다. Decathlon은 10개의 서로 다른 작업으로 구성되며, 각 작업은 영어 훈련 데이터와 여러 대상 언어의 테스트 데이터를 포함하고, 뉴스, 리뷰, 소셜 미디어와 같은 다양한 영역을 다룬다. 그 목표는 작업별 튜닝 없이 모델이 언어 간에 얼마나 잘 일반화되는지 측정하는 것으로, 다국어 Transformer (architecture) 모델 개발의 핵심 참조 자료가 되었다.
이 벤치마크는 Alexis Conneau와 동료들의 논문 "XNLI: Evaluating Cross-lingual Sentence Representations"에서 처음 발표되었지만, Decathlon 프레임워크 자체는 Shijie Wu와 Mark Dredze가 2019년에 발표한 후속 논문 "Beto, Bentz, Becas: The Surprising Cross-Lingual Effectiveness of BERT"에서 공식화되었다. 저자들은 10개의 작업을 포함하는 통합 평가 프로토콜을 도입했다: 자연어 추론(XNLI), Named-entity recognition(CoNLL-2002 및 CoNLL-2003), 품사 태깅(UD), 의존 구문 분석(UD), 의미 유사도(STS-B), Text Classification(IMDb, Amazon, Yelp), 질의 응답(MLQA), 그리고 Machine translation(보조 작업). 각 작업은 영어를 소스 언어로 사용하며, 프랑스어, 독일어, 스페인어, 중국어, 아랍어를 포함한 최대 15개 언어의 테스트 세트를 제공한다.
설계 및 작업
Decathlon의 설계는 현실적인 교차 언어 설정을 강조한다: 모델은 영어 데이터로만 훈련되고 대상 언어로 평가되어 저자원 시나리오를 시뮬레이션한다. 10개의 작업은 문장 수준(XNLI, STS-B), 토큰 수준(POS, NER, 의존 구문 분석), 문서 수준(IMDb, Amazon, Yelp, MLQA)의 세 가지 범주로 그룹화된다. 각 작업에 대해 벤치마크는 표준화된 훈련, 개발, 테스트 분할을 제공하며, 훈련 세트는 영어로 제한된다(XNLI는 일부 병렬 데이터를 포함하는 예외). 평가 지표는 작업에 따라 다르다: 분류는 정확도, NER 및 POS는 F1, STS-B는 상관 계수를 사용한다. 전체 데이터 세트 크기는 모든 작업에 걸쳐 150만 개 이상의 훈련 예제를 초과하며, 테스트 세트는 언어당 1,500개에서 75,000개 예제 범위이다.
주요 모델 및 결과
이 벤치마크는 초기 다국어 모델을 비교하는 데 중요한 역할을 했다. 2019년 원래 논문에서 Wu와 Dredze는 104개 언어로 훈련된 12개 레이어와 1억 1천만 개 파라미터를 가진 Transformer (architecture) 모델인 다국어 BERT(mBERT)를 평가했다. 그들은 mBERT가 모든 작업과 언어에서 평균 정확도 76.3%를 달성하여 강력한 제로샷 성능을 보였으며, 이는 fastText 임베딩을 사용한 기준 모델의 68.9%와 비교된다. 2020년 후속 연구에서는 facebook-ai의 XLM-R이 도입되었는데(제공된 목록에는 없지만 알려진 모델), 이는 5억 5천만 개 파라미터와 100개 언어를 가진 더 큰 Neural network을 사용하여 Decathlon에서 평균 점수를 81.2%로 개선했다. 평가된 다른 모델로는 Google DeepMind의 mT5와 OpenAI의 GPT-3가 있지만, 후자는 이 벤치마크에 특별히 튜닝되지 않았다.
영향 및 한계
Decathlon은 Machine learning 연구에서 표준 벤치마크로 널리 채택되었으며, 2023년까지 500개 이상의 논문에서 인용되었다. 이는 다국어 Deep learning 모델에서 Cross-Attention 및 Multi-Head Attention 메커니즘의 중요성을 강조했다. 그러나 비평가들은 이 벤치마크의 작업이 주로 고자원 언어에 집중되어 있으며, 스와힐리어나 우르두어와 같은 저자원 언어의 범위가 제한적이라고 지적한다. 또한 영어 훈련 데이터에 대한 의존은 다국어 데이터가 사용 가능한 실제 세계 시나리오를 반영하지 못할 수 있다. 이에 대응하여 XTREME(2020) 및 XGLUE(2020)와 같은 후속 벤치마크는 Decathlon의 프레임워크를 확장하여 더 많은 작업과 언어를 추가했다.
연구에서의 사용
연구자들은 Decathlon을 사용하여 Transfer learning 기술, 예를 들어 Fine-tuning 및 Data Augmentation을 테스트한다. 예를 들어, 연구에 따르면 adversarial-training 또는 Curriculum Learning을 사용하면 저자원 언어에서 성능을 향상시킬 수 있다. 이 벤치마크는 또한 Model Pruning 및 Knowledge distillation의 테스트베드 역할을 하며, DistilmBERT(6천 6백만 개 파라미터)와 같은 더 작은 모델은 Decathlon에서 mBERT 성능의 92%를 달성하면서 40% 더 빠르다. 2024년 현재, 이 벤치마크는 여전히 표준 평가 도구로 남아 있지만, GPT-4 및 Anthropic의 Claude와 같은 최신 모델은 생성 작업에 초점을 맞추고 있어 분류 작업보다는 이 벤치마크에서 거의 평가되지 않는다.