GLUE (General Language Understanding Evaluation) é um conjunto de benchmarks introduzido em 2018 por pesquisadores da Universidade de Nova York, da Universidade de Washington e da DeepMind. Ele foi projetado para avaliar e comparar modelos de aprendizado de máquina em um conjunto diversificado de tarefas de compreensão de linguagem natural (NLU), com o objetivo de incentivar o desenvolvimento de modelos de propósito geral que possam lidar com múltiplas tarefas sem engenharia específica para cada tarefa. O benchmark rapidamente se tornou um ponto de referência padrão no campo de inteligência artificial e aprendizado de máquina, particularmente para pesquisas em aprendizado profundo e redes neurais.
O benchmark consiste em nove tarefas que cobrem três categorias principais: tarefas de frase única, tarefas de similaridade e paráfrase, e tarefas de inferência. As tarefas de frase única incluem CoLA (Corpus of Linguistic Acceptability), que testa aceitabilidade gramatical, e SST-2 (Stanford Sentiment Treebank), que testa análise de sentimento. As tarefas de similaridade e paráfrase incluem MRPC (Microsoft Research Paraphrase Corpus), QQP (Quora Question Pairs) e STS-B (Semantic Textual Similarity Benchmark). As tarefas de inferência incluem MNLI (Multi-Genre Natural Language Inference), QNLI (Question Natural Language Inference), RTE (Recognizing Textual Entailment) e WNLI (Winograd Natural Language Inference). Cada tarefa tem sua própria métrica de avaliação, como acurácia, pontuação F1 ou correlação de Pearson, e a pontuação geral do GLUE é a média dessas métricas em todas as tarefas.
História e Motivação
O GLUE foi introduzido em um artigo de 2018 intitulado "GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding" por Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy e Samuel R. Bowman. Os autores argumentaram que os benchmarks existentes eram frequentemente muito estreitos e permitiam que os modelos se ajustassem excessivamente a conjuntos de dados específicos. O GLUE visava fornecer uma avaliação mais abrangente ao incluir tarefas que exigem diferentes tipos de conhecimento linguístico, como sintaxe, semântica e senso comum. O benchmark também incluía um ranking público, que permitia aos pesquisadores comparar seus modelos de forma transparente.
A introdução do GLUE coincidiu com um período de progresso rápido em modelos de linguagem de grande escala. Pouco após seu lançamento, modelos baseados na arquitetura Transformer (architecture), como o BERT (Bidirectional Encoder Representations from Transformers) do Google, começaram a dominar o ranking. O sucesso do BERT no GLUE ajudou a popularizar o paradigma de pré-treinamento e ajuste fino, onde um modelo é primeiro treinado em um grande corpus de texto e depois adaptado a tarefas específicas. Essa abordagem tornou-se fundamental para modelos subsequentes desenvolvidos por organizações como OpenAI, Anthropic e Google DeepMind.
Tarefas e Avaliação
As nove tarefas do GLUE foram selecionadas para cobrir uma variedade de dificuldades e fenômenos linguísticos. O CoLA, por exemplo, exige que os modelos julguem se uma frase é gramaticalmente aceitável, o que testa conhecimento sintático. O SST-2 envolve classificação binária de sentimento a partir de resenhas de filmes. MRPC e QQP são tarefas de detecção de paráfrase, onde os modelos devem determinar se duas frases têm o mesmo significado. O STS-B é uma tarefa de regressão que pontua similaridade semântica em uma escala de 0 a 5.
Para as tarefas de inferência, o MNLI é o maior, com mais de 400.000 pares de frases em múltiplos gêneros, exigindo que os modelos classifiquem implicação, contradição ou neutralidade. O QNLI é uma tarefa de resposta a perguntas reformulada como implicação, onde o modelo deve determinar se uma frase contém a resposta a uma pergunta. O RTE é uma tarefa de implicação menor derivada de notícias e da Wikipédia. O WNLI é uma tarefa de resolução de pronomes baseada no Winograd Schema Challenge, mas posteriormente descobriu-se que era falho devido a um problema de vazamento de dados, e muitos modelos alcançaram apenas desempenho aleatório nele.
As métricas de avaliação variam: o CoLA usa correlação de Matthews, SST-2 e QNLI usam acurácia, MRPC e QQP usam pontuação F1, STS-B usa correlações de Pearson e Spearman, e MNLI, RTE e WNLI usam acurácia. A pontuação final do GLUE é a média dessas métricas, com cada tarefa ponderada igualmente.
Impacto e Limitações
O GLUE teve um impacto significativo no campo ao fornecer um benchmark comum para comparar modelos. Ele ajudou a impulsionar melhorias na pesquisa em processamento de linguagem natural, e seu ranking tornou-se uma arena competitiva para laboratórios acadêmicos e industriais. O benchmark também facilitou o desenvolvimento de abordagens de aprendizado multitarefa e contribuiu para o aumento do aprendizado por transferência em PLN.
No entanto, o GLUE também enfrentou críticas. Alguns pesquisadores notaram que o benchmark poderia ser manipulado por modelos que memorizam padrões nos dados de treinamento em vez de realmente compreender a linguagem. A tarefa WNLI foi particularmente problemática, pois descobriu-se posteriormente que o conjunto de teste continha exemplos que não estavam devidamente alinhados com os dados de treinamento, tornando quase impossível para os modelos terem um bom desempenho. Em resposta, a equipe do GLUE lançou uma versão revisada chamada SuperGLUE em 2019, que incluía tarefas mais difíceis e abordava alguns desses problemas.
Legado e Sucessores
Apesar de suas limitações, o GLUE continua sendo um benchmark amplamente citado e é frequentemente usado como linha de base para avaliar novos modelos. Seu sucessor, o SuperGLUE, introduziu tarefas que exigem raciocínio mais complexo, como inferência multi-frase e compreensão de leitura. Ambos os benchmarks foram influentes na formação da avaliação de sistemas de IA generativa, embora benchmarks mais novos, como MMLU e HELM, tenham surgido para abordar capacidades mais amplas.
O design do GLUE também inspirou benchmarks semelhantes em outros domínios, como XGLUE para compreensão multilíngue e CLUE para chinês. A ênfase do benchmark na avaliação multitarefa tornou-se uma prática padrão no campo, e seu modelo de ranking público foi adotado por muitos esforços subsequentes.
Ver Também
- aprendizado de máquina
- aprendizado profundo
- redes neurais
- modelos de linguagem de grande escala
- Transformer (architecture)
- OpenAI
- Google DeepMind
Referências
- Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., & Bowman, S. R. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. arXiv preprint arXiv:1804.07461.
- Wang, A., Pruksachatkun, Y., Nangia, N., Singh, A., Michael, J., Hill, F., ... & Bowman, S. R. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. arXiv preprint arXiv:1905.00537.