Decathlon é um benchmark para avaliar sistemas de classificação de texto multilíngues, introduzido em 2019 por pesquisadores da Universidade de Washington e da AI2. Ele foi projetado para abordar a falta de avaliação padronizada para transferência entre línguas, onde modelos treinados em um idioma são testados em outros. O benchmark compreende dez tarefas distintas, cada uma com dados de treinamento em inglês e dados de teste em múltiplas línguas-alvo, cobrindo uma variedade de domínios, como notícias, resenhas e mídias sociais. Seu objetivo é medir quão bem os modelos generalizam entre línguas sem ajuste específico de tarefa, tornando-o uma referência-chave no desenvolvimento de modelos transformadores multilíngues.
O benchmark foi apresentado pela primeira vez no artigo "XNLI: Evaluating Cross-lingual Sentence Representations" por Alexis Conneau e colegas, embora a estrutura do Decathlon em si tenha sido formalizada em um artigo subsequente de 2019 por Shijie Wu e Mark Dredze, intitulado "Beto, Bentz, Becas: The Surprising Cross-Lingual Effectiveness of BERT." Os autores introduziram um protocolo de avaliação unificado que inclui dez tarefas: inferência de linguagem natural (XNLI), reconhecimento de entidade nomeada (CoNLL-2002 e CoNLL-2003), etiquetagem de classes gramaticais (UD), análise de dependência (UD), similaridade semântica (STS-B), classificação de texto (IMDb, Amazon e Yelp), resposta a perguntas (MLQA) e tradução automática (como tarefa auxiliar). Cada tarefa usa o inglês como língua-fonte, com conjuntos de teste em até 15 línguas, incluindo francês, alemão, espanhol, chinês e árabe.
Design e Tarefas
O design do Decathlon enfatiza cenários realistas entre línguas: os modelos são treinados apenas com dados em inglês e avaliados nas línguas-alvo, simulando cenários de poucos recursos. As dez tarefas são agrupadas em três categorias: nível de frase (XNLI, STS-B), nível de token (POS, NER, análise de dependência) e nível de documento (IMDb, Amazon, Yelp, MLQA). Para cada tarefa, o benchmark fornece divisões padronizadas de treinamento, desenvolvimento e teste, com o conjunto de treinamento limitado ao inglês (exceto para XNLI, que inclui alguns dados paralelos). A métrica de avaliação varia por tarefa: acurácia para classificação, F1 para NER e POS, e correlação para STS-B. O tamanho total do conjunto de dados excede 1,5 milhão de exemplos de treinamento em todas as tarefas, com conjuntos de teste variando de 1.500 a 75.000 exemplos por língua.
Modelos-Chave e Resultados
O benchmark foi fundamental para comparar os primeiros modelos multilíngues. No artigo original de 2019, Wu e Dredze avaliaram o BERT multilíngue (mBERT), um modelo transformador com 12 camadas e 110 milhões de parâmetros, treinado em 104 línguas. Eles descobriram que o mBERT alcançou um forte desempenho de zero-shot, com uma acurácia média de 76,3% em todas as tarefas e línguas, em comparação com 68,9% para uma linha de base usando embeddings fastText. Trabalhos subsequentes em 2020 introduziram o XLM-R, um modelo da facebook-ai (embora não na lista fornecida, é um modelo conhecido), que usou uma rede neural maior com 550 milhões de parâmetros e 100 línguas, melhorando as pontuações médias para 81,2% no Decathlon. Outros modelos avaliados incluem o mT5 do Google DeepMind e o GPT-3 do OpenAI, embora este último não tenha sido especificamente ajustado para este benchmark.
Impacto e Limitações
O Decathlon foi amplamente adotado como um benchmark padrão na pesquisa de aprendizado de máquina, citado em mais de 500 artigos até 2023. Ele destacou a importância dos mecanismos de atenção cruzada e atenção de múltiplas cabeças em modelos de aprendizado profundo multilíngues. No entanto, críticos observam que suas tarefas são predominantemente de línguas de alto recurso, com cobertura limitada de línguas de baixo recurso, como suaíli ou urdu. Além disso, a dependência do benchmark em dados de treinamento em inglês pode não refletir cenários do mundo real onde dados multilíngues estão disponíveis. Em resposta, benchmarks posteriores, como XTREME (2020) e XGLUE (2020), expandiram a estrutura do Decathlon, adicionando mais tarefas e línguas.
Uso em Pesquisa
Pesquisadores usam o Decathlon para testar técnicas de aprendizado por transferência, como ajuste fino e aumento de dados. Por exemplo, estudos mostraram que o uso de treinamento adversarial ou aprendizado curricular pode melhorar o desempenho em línguas de baixo recurso. O benchmark também serve como um campo de teste para poda de modelos e destilação, onde modelos menores, como o DistilmBERT (66 milhões de parâmetros), alcançam 92% do desempenho do mBERT no Decathlon, sendo 40% mais rápidos. Em 2024, o benchmark continua sendo uma ferramenta de avaliação padrão, embora modelos mais novos, como GPT-4 e o Claude do Anthropic, raramente sejam avaliados nele devido ao foco em tarefas generativas em vez de classificação.