CLUE (Chinese Language Understanding Evaluation) é um conjunto de benchmarks projetado para avaliar o desempenho de modelos de compreensão de linguagem natural em textos chineses. Introduzido em 2020, ele fornece um conjunto padronizado de tarefas que avaliam a capacidade de um modelo em lidar com vários aspectos do processamento de língua chinesa, incluindo classificação de texto, inferência de linguagem natural e compreensão de leitura. CLUE tornou-se um ponto de referência amplamente adotado para pesquisadores e desenvolvedores que trabalham com modelos chineses de Natural language processing, comparável ao papel de GLUE e SuperGLUE para o inglês.
O benchmark foi criado para abordar a falta de ferramentas de avaliação abrangentes para o chinês, que possui características linguísticas únicas, como a ausência de limites de palavras e um rico sistema de caracteres e expressões idiomáticas. CLUE agrega múltiplos conjuntos de dados, cada um direcionado a uma habilidade específica de compreensão de linguagem, e fornece um ranking para acompanhar o progresso dos modelos ao longo do tempo. Ele foi fundamental para impulsionar melhorias em Large language models chineses e outras abordagens de Deep learning.
Composição das Tarefas
CLUE consiste em nove tarefas distintas, cada uma derivada de conjuntos de dados chineses existentes de PLN. Essas tarefas cobrem uma variedade de dificuldades e fenômenos linguísticos. As tarefas principais incluem:
- TNEWS: Uma tarefa de classificação de texto curto baseada em manchetes de notícias, exigindo que os modelos categorizem o texto em 15 classes de tópicos.
- IFLYTEK: Uma tarefa de classificação de texto longo com 119 categorias, originada de descrições de aplicativos geradas por usuários, testando a capacidade de lidar com texto ruidoso e informal.
- CMNLI: Uma tarefa de inferência de linguagem natural onde os modelos devem determinar se uma hipótese implica, contradiz ou é neutra em relação a uma premissa, com base no corpus chinês Multi-Genre NLI.
- OCNLI: Outra tarefa de inferência, derivada do conjunto de dados Original Chinese NLI, focando em cenários de raciocínio mais desafiadores.
- CLUEWSC2020: Uma tarefa de resolução de correferência baseada em frases semelhantes ao Winograd Schema, exigindo raciocínio de senso comum para resolver referências de pronomes.
- CSL: Uma tarefa de reconhecimento de palavras-chave onde os modelos identificam se uma determinada palavra-chave está presente em um resumo de artigo científico, testando compreensão específica de domínio.
- DRCD: Uma tarefa de compreensão de leitura com resposta a perguntas extrativa, baseada na versão chinesa do conjunto de dados estilo SQuAD.
- CMRC2018: Outra tarefa de compreensão de leitura, focando na extração de trechos de passagens chinesas.
- CHID: Uma tarefa de preenchimento de lacunas onde os modelos selecionam a expressão idiomática correta de um conjunto de candidatos para preencher um espaço em branco, testando o conhecimento de expressões idiomáticas chinesas.
Cada tarefa é projetada para sondar diferentes capacidades, desde classificação básica até raciocínio complexo, fornecendo uma avaliação holística da compreensão chinesa de um modelo.
Pontuação e Ranking
CLUE fornece um mecanismo de pontuação unificado, com cada tarefa tendo uma métrica específica. Para tarefas de classificação, a acurácia é usada; para tarefas de inferência, a acurácia também é a métrica principal; para compreensão de leitura, o escore F1 e a correspondência exata são relatados. O escore geral do CLUE é calculado como a média dos escores individuais das tarefas, permitindo comparação direta entre modelos. O ranking oficial, hospedado no site do CLUE, classifica as submissões com base nesse escore médio, incentivando o desenvolvimento competitivo.
Desde sua introdução, o ranking tem visto melhoria constante. Modelos iniciais baseados em arquiteturas Transformer (architecture) como BERT alcançaram escores na faixa de 60-70, enquanto Large language models mais recentes empurraram os escores acima de 90, refletindo avanços significativos em PLN chinês. O benchmark também foi atualizado com tarefas adicionais, como CLUE-ABSA para análise de sentimento baseada em aspectos, para acompanhar as necessidades de pesquisa em evolução.
Impacto e Uso
CLUE teve um impacto substancial na comunidade de PLN chinês. Ele serve como uma ferramenta de avaliação padrão para pesquisa acadêmica, com muitos artigos relatando resultados em tarefas do CLUE para demonstrar a eficácia dos modelos. Também é usado na indústria para avaliar modelos comerciais e orientar o desenvolvimento de produtos. Por exemplo, empresas de tecnologia chinesas e instituições de pesquisa frequentemente usam CLUE para validar seus modelos proprietários antes da implantação.
O benchmark também estimulou o desenvolvimento de arquiteturas de modelos e técnicas de treinamento específicas para o chinês. Por exemplo, modelos como RoBERTa-wwm-ext e ERNIE, que incorporam mascaramento de palavras inteiras e pré-treinamento aprimorado por conhecimento, foram otimizados com o CLUE em mente. As tarefas também destacaram a importância de lidar com desafios específicos do chinês, como a granularidade da tokenização e o uso de expressões idiomáticas, levando a inovações em Tokenization e Data Augmentation.
Limitações e Críticas
Apesar de sua popularidade, CLUE enfrentou críticas. Alguns pesquisadores argumentam que as tarefas são relativamente estreitas e não capturam totalmente a complexidade da compreensão de linguagem chinesa no mundo real. O benchmark foca principalmente em tarefas de classificação e extrativas, com cobertura limitada de tarefas generativas como sumarização ou diálogo. Além disso, os conjuntos de dados podem conter vieses ou artefatos que os modelos podem explorar, levando a escores inflados que não refletem a verdadeira generalização.
Outra limitação é a natureza estática do benchmark. À medida que os modelos melhoram, as tarefas podem se tornar saturadas, dificultando a diferenciação entre sistemas de alto desempenho. Para abordar isso, a equipe do CLUE introduziu periodicamente novas tarefas e versões mais difíceis, mas o ritmo do desenvolvimento de modelos muitas vezes supera essas atualizações. Alguns também notaram que o ranking incentiva o sobreajuste aos conjuntos de dados específicos, em vez de promover modelos robustos e generalizáveis.
Direções Futuras
O futuro do CLUE provavelmente envolve expansão para tarefas mais diversas e desafiadoras, incluindo compreensão generativa e diálogo multi-turno. Há também um impulso para benchmarks mais dinâmicos que possam se adaptar às capacidades dos modelos, semelhante aos esforços como superglue para o inglês. À medida que os Large language models chineses continuam a evoluir, o CLUE precisará evoluir junto com eles, garantindo que permaneça um padrão de avaliação relevante e rigoroso para a comunidade.