SuperGLUE é um conjunto de referências (benchmark) introduzido em 2019 por pesquisadores do Google, DeepMind e da Universidade de Nova York para avaliar as capacidades de sistemas de compreensão de linguagem natural (NLU). Foi projetado como um sucessor mais desafiador do benchmark GLUE (General Language Understanding Evaluation) anterior, que já havia sido saturado por modelos de alto desempenho. O SuperGLUE consiste em oito tarefas diversas que testam a capacidade de um sistema de realizar resolução de correferência, resposta a perguntas, implicação textual e raciocínio sobre múltiplas frases, com foco em tarefas que exigem compreensão linguística mais profunda e conhecimento de senso comum.
O benchmark foi criado em resposta ao rápido progresso dos modelos de Machine learning e Deep learning, particularmente aqueles baseados na arquitetura Transformer (architecture), que haviam alcançado desempenho quase humano no GLUE. O SuperGLUE eleva o nível ao incluir tarefas mais difíceis para as máquinas, como reconhecer implicação textual com premissas de múltiplas frases e responder a perguntas que exigem raciocínio de múltiplas etapas. O conjunto fornece uma pontuação única que agrega o desempenho em todas as tarefas, permitindo a comparação direta de diferentes modelos e abordagens.
Composição das Tarefas
O SuperGLUE inclui oito tarefas, cada uma visando um aspecto distinto da compreensão da linguagem. Essas tarefas são: BoolQ (perguntas booleanas com respostas sim/não), CB (banco de compromissos, uma tarefa de implicação textual), COPA (escolha de alternativas plausíveis, uma tarefa de raciocínio causal), MultiRC (compreensão de leitura de múltiplas frases), ReCoRD (compreensão de leitura com raciocínio de senso comum), RTE (reconhecimento de implicação textual), WiC (palavra no contexto, uma tarefa de desambiguação lexical) e WSC (desafio de esquemas de Winograd, uma tarefa de resolução de pronomes). Cada tarefa é projetada para ser desafiadora para modelos que dependem de padrões superficiais, exigindo, em vez disso, uma compreensão de sintaxe, semântica e conhecimento de mundo.
Ao contrário do GLUE, que incluía tarefas de frase única, como análise de sentimento, o SuperGLUE enfatiza tarefas que envolvem múltiplas frases e raciocínio complexo. Por exemplo, a tarefa WSC exige que um modelo resolva pronomes com base em pistas contextuais sutis, enquanto a COPA testa o raciocínio causal ao perguntar qual de duas alternativas é mais plausível dada uma premissa. Essas tarefas são extraídas de conjuntos de dados existentes, mas o SuperGLUE fornece uma estrutura de avaliação unificada com divisões padronizadas de treinamento, validação e teste.
Pontuação e Avaliação
O SuperGLUE usa uma pontuação única e agregada, calculada como a média da métrica de cada tarefa. Para a maioria das tarefas, a métrica é a acurácia, mas para MultiRC e ReCoRD, usa-se o escore F1 para levar em conta o crédito parcial em configurações de múltiplas respostas. O benchmark também inclui uma linha de base de desempenho humano, estabelecida por anotadores humanos que completam as tarefas sob condições semelhantes às dos modelos. Essa linha de base serve como ponto de referência para medir o progresso.
Para evitar overfitting, o conjunto de teste é mantido em sigilo e as submissões são avaliadas por meio de um leaderboard hospedado no site do SuperGLUE. Os modelos podem usar dados de treinamento adicionais, mas o benchmark incentiva a comparação justa ao relatar resultados com e sem dados externos. O protocolo de avaliação também inclui um conjunto de diagnóstico, que fornece uma análise detalhada das capacidades dos modelos em relação a fenômenos linguísticos como negação, quantificação e correferência.
Impacto na Pesquisa em IA
O SuperGLUE teve um impacto significativo no campo da inteligência artificial, impulsionando o desenvolvimento de modelos de linguagem mais robustos. Pouco após seu lançamento, modelos como o BERT e seus sucessores foram avaliados no SuperGLUE, revelando lacunas de desempenho que motivaram melhorias arquitetônicas. Por exemplo, a introdução de modelos de Large language model como o GPT-2 e, posteriormente, o GPT-3 demonstrou que aumentar a escala do modelo e dos dados de treinamento poderia levar a ganhos substanciais nas tarefas do SuperGLUE, embora mesmo os maiores modelos inicialmente ficassem aquém do desempenho humano em várias tarefas.
O benchmark também influenciou o design de novos objetivos de treinamento e arquiteturas de modelos. Pesquisadores em instituições como Google DeepMind e OpenAI usaram o SuperGLUE para avaliar inovações como aprendizado multitarefa, treinamento adversarial e a incorporação de conhecimento externo. Em 2021, vários modelos, incluindo T5 e DeBERTa, alcançaram pontuações que excederam a linha de base humana, indicando que o benchmark havia se tornado saturado. Isso levou ao desenvolvimento de benchmarks ainda mais difíceis, como o sucessor do SuperGLUE, que se concentra em tarefas de raciocínio e geração mais complexas.
Limitações e Críticas
Apesar de seu sucesso, o SuperGLUE enfrentou críticas. Alguns pesquisadores argumentam que as tarefas do benchmark, embora desafiadoras, não capturam totalmente a compreensão da linguagem no mundo real, pois são predominantemente problemas de múltipla escolha ou classificação. A dependência da acurácia como métrica principal também pode obscurecer diferenças no comportamento dos modelos, como calibração ou robustez a entradas adversariais. Além disso, o foco exclusivo no inglês limita sua aplicabilidade a configurações multilíngues, uma lacuna que benchmarks posteriores, como o XGLUE, procuraram abordar.
Outra preocupação é o potencial de os modelos explorarem artefatos ou vieses nos conjuntos de dados, levando a pontuações infladas que não refletem uma compreensão genuína. Por exemplo, algumas tarefas do SuperGLUE foram encontradas contendo correlações espúrias que os modelos poderiam aproveitar sem realizar o raciocínio pretendido. Isso motivou pedidos por protocolos de avaliação mais rigorosos e pelo desenvolvimento de conjuntos de dados de diagnóstico que testam capacidades específicas de forma mais controlada.
Legado e Sucessores
O SuperGLUE continua sendo um benchmark amplamente citado na comunidade de processamento de linguagem natural, servindo como referência padrão para avaliar sistemas de NLU. Seus princípios de design, como o uso de tarefas diversas e um conjunto de teste mantido em sigilo, influenciaram benchmarks subsequentes, incluindo o sucessor do GLUE e a tendência mais ampla em direção a suítes de avaliação multitarefa. O benchmark também contribuiu para uma compreensão mais ampla da relação entre escala do modelo e desempenho em tarefas de linguagem, como evidenciado pela correlação entre o tamanho do modelo e as pontuações no SuperGLUE.
Em 2023, o SuperGLUE é considerado um benchmark maduro, com muitos modelos de última geração superando o desempenho humano. Seu legado reside em demonstrar a importância de suítes de avaliação desafiadoras para avançar a pesquisa em redes neurais e em destacar a necessidade de benchmarks que evoluam junto com as capacidades dos modelos. É provável que benchmarks futuros incorporem tarefas mais generativas, dados multilíngues e configurações interativas, com base na fundação estabelecida pelo SuperGLUE.