ROUGE

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) é uma família de métricas de avaliação automática projetadas para avaliar a qualidade de resumos e traduções gerados por máquinas. Foi introduzida em 2004 por Chin-Yew Lin e Eduard Hovy no Instituto de Ciências da Informação da Universidade do Sul da Califórnia. A família de métricas opera comparando um texto candidato (o resumo gerado por máquina) com um ou mais textos de referência (geralmente resumos escritos por humanos) e medindo o grau de sobreposição lexical, com ênfase particular na revocação (ou seja, quanto do conteúdo da referência está presente no candidato). Enquanto métricas anteriores, como BLEU, desenvolvida em 2002 para tradução automática, focavam na precisão, a orientação da ROUGE para a revocação a tornou especialmente adequada para sumarização, onde capturar todos os pontos importantes de uma fonte é crucial.

A ROUGE continua sendo uma das ferramentas padrão em processamento de linguagem natural (PLN) para avaliar e desenvolver sistemas de sumarização, incluindo aqueles baseados em modelos de linguagem de grande escala. Ela é incorporada em tarefas principais, como as Conferências de Compreensão de Documentos (DUC), e serve como ponto de comparação para avaliação humana. Apesar de suas limitações conhecidas, sua transparência computacional e simplicidade a tornaram uma métrica de primeira linha comum tanto na pesquisa quanto na indústria.

Variantes Principais

A ROUGE abrange várias métricas distintas, cada uma medindo diferentes aspectos da sobreposição textual. As variantes mais comuns são:

• ROUGE-N: Mede a sobreposição de n-gramas (sequências contíguas de N palavras) entre o candidato e a referência. ROUGE-1 usa unigramas (palavras individuais), ROUGE-2 usa bigramas (pares de palavras) e ROUGE-3 e ROUGE-4 são usadas com menos frequência. A fórmula para ROUGE-N é o número de n-gramas sobrepostos dividido pelo número total de n-gramas na referência. ROUGE-1 e ROUGE-2 são as variantes mais frequentemente relatadas, aparecendo com destaque em benchmarks como o GEM e em artigos acadêmicos.

• ROUGE-L: Baseada na técnica da Subsequência Comum Mais Longa (LCS). Ela encontra a sequência mais longa de palavras que aparece tanto no candidato quanto na referência, em ordem, mas não necessariamente de forma contígua. Essa métrica captura a estrutura em nível de frase e penaliza reordenações. A ROUGE-L inclui tanto a revocação baseada em LCS quanto a precisão, além de uma medida F, que é a média harmônica das duas.

• ROUGE-W: Uma versão ponderada da ROUGE-L que dá mais crédito a correspondências consecutivas. É usada com menos frequência, mas pode ser importante para tarefas onde a fluência na ordem das frases é relevante.

• ROUGE-S: Métrica baseada em skip-bigrams, que permite qualquer par de palavras na ordem da frase, independentemente da distância entre elas. Isso captura a ordem das palavras de forma mais flexível. Uma versão comum é a ROUGE-SU, que adicionalmente inclui unigramas. A ROUGE-S é frequentemente usada para resumos mais longos.

• ROUGE-SU: Combina a ROUGE-S com a correspondência de unigramas, sendo útil quando uma referência usa sinônimos de um candidato, e fornece uma visão equilibrada entre precisão e revocação.

Revocação, Precisão e Medida F

Embora o design original da ROUGE tenha se centrado na revocação, a métrica também pode ser calculada como precisão (a razão entre n-gramas correspondentes no candidato e o total de n-gramas no candidato) e como medida F1 (a média harmônica entre precisão e revocação). Scripts padrão geralmente retornam três valores: ROUGE-1-R (revocação), ROUGE-1-P (precisão) e ROUGE-1-F (medida F1). Praticantes frequentemente relatam o valor F1 como uma métrica resumida única. No entanto, alguns artigos relatam apenas a revocação, seguindo a definição original, o que pode ser enganoso, pois sistemas que geram resumos longos e verbosos tendem a obter pontuações mais altas de revocação. Essa é uma motivação chave para também verificar a precisão e a medida F1.

Exemplo de Cálculo

Considere um resumo de referência: "O gato sentou no tapete". Um resumo candidato: "O gato está no tapete". Para ROUGE-1 com tokens de palavras (após a aplicação de stemming, que reduz cada palavra à sua forma raiz), os unigramas sobrepostos são 'o', 'gato', 'no', 'tapete' (note que 'sentou' não aparece no candidato). Com a remoção de stopwords (palavras como 'o', 'no' são removidas), os números mudariam. Formalmente, a revocação ROUGE-1 = (número de unigramas sobrepostos) / (total de unigramas na referência) = 4/5 = 0,8. A precisão = 4/5 (o candidato tem 5 unigramas) = 0,8. A medida F1 = (2 0,8 0,8) / (0,8 + 0,8) = 0,8. Este exemplo mostra a sobreposição lexical, mas falha em capturar sinônimos (por exemplo, 'sentou' vs. 'está'), daí o uso de stemming (que reduz 'sentou' a 'sent' e 'está' a 'est') para lidar com variações morfológicas, embora isso não seja totalmente confiável.

História e Evolução

A ROUGE foi introduzida em 2004 em um artigo intitulado "Avaliação Automática de Resumos Usando Estatísticas de Co-ocorrência de N-gramas", apresentado nas Atas da 36ª Reunião Anual da Associação de Linguística Computacional. Lin e Hovy a desenvolveram para as Conferências de Compreensão de Documentos (DUC), uma avaliação anual de sumarização automática que começou em 2001. Com o tempo, a ROUGE se tornou o padrão de referência para avaliação automática de resumos, e foi posteriormente adotada pelo Instituto Nacional de Padrões e Tecnologia (NIST) para a Conferência de Análise de Texto (TAC).

A linhagem da métrica veio de trabalhos anteriores, que se baseavam na ideia de que a similaridade entre textos pode ser medida pela sobreposição de palavras, remontando a métodos antigos em recuperação de informação, como o modelo de saco de palavras. A ROUGE padronizou o uso da revocação nesse contexto. Variantes posteriores e esforços de melhoria incluíram a introdução de stemming, listas de stopwords e a disponibilização de vários kits de ferramentas. A implementação mais comum é um script em Perl, desenvolvido por Lin, que permanece hospedado no SourceForge. Bibliotecas Python mais modernas, como py-rouge e rouge_score (do Google), forneceram implementações mais eficientes, tornando a métrica viável para lidar com grandes volumes de texto em sistemas contemporâneos.

Uso em PLN Moderno

Na era dos sistemas modernos de sequência a sequência, a ROUGE continua sendo uma parte integral dos protocolos de avaliação. Para tradução automática, ela serve como um complemento ao BLEU. Para sumarização, é a métrica de trabalho padrão. Em sistemas extrativos, que copiam frases diretamente da entrada, a ROUGE tende a obter pontuações altas facilmente. Em sistemas abstrativos, que geram conteúdo novo, a ROUGE pode subestimar a qualidade, pois penaliza paráfrases. Apesar disso, a ROUGE é amplamente usada em benchmarks como o GEM e em artigos que comparam modelos, incluindo aqueles baseados em aprendizado profundo e transformadores.

Críticas e Limitações

Seu uso não está isento de críticas. Pesquisas mostraram que a ROUGE correlaciona-se apenas moderadamente com o julgamento humano, especialmente para resumos abstrativos. A falta de correspondência semântica e a incapacidade de detectar paráfrases são desvantagens importantes. Como é puramente lexical, um resumo que seja tão bom quanto a referência, mas que não use as mesmas palavras, pode obter pontuações drasticamente mais baixas. Isso levou ao desenvolvimento de outras métricas de avaliação, como a BERTScore (2019), que usa embeddings de modelos neurais, e a METEOR, que incorpora stemming e correspondência de sinônimos.

Apesar dessas limitações, a ROUGE é usada como padrão por ser barata, determinística e fácil de calcular. Muitos cartões de modelo e relatórios de pesquisa publicam pontuações ROUGE, juntamente com métricas mais recentes.

Considerações Práticas

Ao usar a ROUGE, há algumas armadilhas comuns que afetam as pontuações:

• Stemming: Frequentemente, o stemming é aplicado para normalizar variações de formas de palavras (por exemplo, 'gatos' -> 'gato'), o que pode aumentar as pontuações.
• Remoção de stopwords: Alguns pipelines excluem palavras frequentes como 'o', 'a' para reduzir ruído, mas isso pode diminuir as pontuações.
• Comprimento: A ROUGE é sensível ao comprimento do resumo. Resumos longos naturalmente têm maior revocação. Em geral, não se deve comparar pontuações entre diferentes conjuntos de dados.
• Múltiplas referências: Usar múltiplas referências de qualidade (R1) tende a aumentar as pontuações, pois mais n-gramas distintos são cobertos.
• Medida F: Como observado, alguns relatórios podem usar apenas precisão ou revocação, mas é importante ser consistente ao relatar a medida F.

Revisão e Direções Futuras

Apesar de sua idade, a ROUGE não está desaparecendo. Ela tem uma longevidade semelhante à da Perplexidade - ou pode-se dizer que é uma métrica mais simples em modelagem de linguagem. No último ano, trabalhos propuseram modificações para melhor abordar a ordem e os fatos, ou para usar implicação textual com modelos, mas essas abordagens são mais custosas.

A ROUGE oferece uma maneira consistente e interpretável de verificar se um candidato não perde conteúdo da referência, e continua sendo uma parte padrão da avaliação de modelos de sequência a sequência em tarefas de compreensão de texto. A comunidade de pesquisa a mantém como base, adicionando métricas complementares.

Pesquisas futuras em avaliação humana e no tratamento de resumos criativos podem tornar a ROUGE obsoleta, mas a pontuação em si provavelmente permanecerá como uma medida de linha de base simples.