ROUGE, ou Recall-Oriented Understudy for Gisting Evaluation, est un ensemble de métriques et un paquet logiciel utilisés pour évaluer les logiciels de résumé automatique et de traduction automatique en traitement du langage naturel. Les métriques comparent un résumé ou une traduction produit automatiquement à une référence ou à un ensemble de références (produites par des humains) de résumé ou de traduction. Les métriques ROUGE varient entre 0 et 1, des scores plus élevés indiquant une similarité plus grande entre le résumé produit automatiquement et la référence.
ROUGE a été introduit au début des années 2000 en réponse au besoin croissant d'évaluation automatisée dans le résumé de texte, un domaine qui reposait auparavant fortement sur le jugement humain. Il est devenu un outil standard dans la communauté de recherche, en particulier après son adoption dans la conférence Document Understanding Conference (DUC) et plus tard la conférence Text Analysis Conference (TAC), organisées par le National Institute of Standards and Technology (NIST). Le nom lui-même est une référence ludique à la métrique BLEU, utilisée pour l'évaluation de la traduction automatique ; BLEU signifie Bilingual Evaluation Understudy, et ROUGE remplace le 'B' par 'R' pour souligner une évaluation orientée vers le rappel.
L'idée centrale derrière ROUGE est de mesurer le chevauchement d'unités lexicales entre un texte candidat et un ou plusieurs textes de référence. Ce chevauchement est généralement calculé à l'aide de n-grammes, qui sont des séquences contiguës de n mots, ou d'autres motifs structurels tels que les plus longues sous-séquences communes. En se concentrant sur le rappel, ROUGE évalue la quantité de contenu de la référence capturée par la sortie du système, ce qui est particulièrement pertinent pour le résumé où l'objectif est d'inclure les informations clés de la source.
ROUGE-N
ROUGE-N est la variante la plus basique, mesurant le chevauchement de n-grammes entre les résumés du système et de référence. La métrique est calculée comme le nombre de n-grammes correspondants divisé par le nombre total de n-grammes dans la référence. Par exemple, ROUGE-1 fait référence au chevauchement d'unigrammes (chaque mot) entre les résumés du système et de référence, tandis que ROUGE-2 fait référence au chevauchement de bigrammes (paires de mots consécutifs).
ROUGE-1 est souvent utilisé comme indicateur de la couverture du contenu, car il capture la présence de mots individuels. Cependant, il peut être contourné en incluant de nombreux mots courants, donc ROUGE-2 est souvent préféré pour les tâches où l'ordre des mots est important. En pratique, ROUGE-1 et ROUGE-2 sont les variantes les plus couramment rapportées dans les articles de recherche, souvent accompagnées de ROUGE-L.
La formule pour ROUGE-N est simple : pour un n donné, le score est le rapport entre le nombre de n-grammes apparaissant à la fois dans le résumé du système et dans le résumé de référence et le nombre de n-grammes dans le résumé de référence. Lorsque plusieurs références sont utilisées, le score est généralement calculé comme le maximum sur toutes les références, ou parfois la moyenne, selon l'implémentation spécifique.
ROUGE-L
ROUGE-L utilise la plus longue sous-séquence commune (LCS) entre les résumés du système et de référence. La LCS est la plus longue séquence de mots qui apparaît dans le même ordre dans les deux textes, bien que pas nécessairement de manière contiguë. Cette approche prend naturellement en compte la similarité de structure au niveau de la phrase, car elle identifie automatiquement les n-grammes co-occurrents en séquence les plus longs.
Contrairement à ROUGE-N, qui exige des correspondances exactes de n-grammes, ROUGE-L est plus flexible car il permet des écarts entre les mots correspondants. Cela le rend particulièrement utile pour évaluer des résumés qui paraphrasent le contenu tout en préservant l'ordre général des idées. Le score basé sur la LCS est calculé à l'aide d'un algorithme de programmation dynamique, et il peut être appliqué au niveau de la phrase ou au niveau du résumé.
Une limitation de ROUGE-L est qu'il traite toutes les correspondances LCS de manière égale, qu'elles soient contiguës ou non. Cela peut conduire à des situations où un résumé avec des correspondances dispersées obtient un score plus élevé qu'un autre avec quelques correspondances contiguës, même si ce dernier est plus cohérent. Pour remédier à cela, la variante pondérée ROUGE-W a été développée.
ROUGE-W
ROUGE-W est une statistique basée sur la LCS pondérée qui favorise les LCS consécutives. L'idée est d'attribuer des poids plus élevés aux correspondances qui apparaissent de manière contiguë dans le texte, car celles-ci sont plus susceptibles de refléter un chevauchement significatif au niveau des phrases. La pondération est contrôlée par un paramètre qui ajuste la pénalité pour les correspondances non contiguës.
En pratique, ROUGE-W est moins couramment utilisé que ROUGE-L, mais il peut être utile dans des scénarios où l'évaluateur souhaite mettre l'accent sur la fluidité ou la cohérence locale. L'implémentation nécessite un réglage minutieux du paramètre de pondération, qui est souvent défini de manière empirique en fonction de la tâche spécifique.
L'approche pondérée aide à atténuer le problème où un résumé du système qui correspond à des mots dispersés dans la référence pourrait recevoir un score LCS élevé malgré une structure médiocre. En récompensant la contiguïté, ROUGE-W fournit une mesure de similarité plus nuancée.
ROUGE-S et ROUGE-SU
ROUGE-S mesure les statistiques de co-occurrence basées sur les skip-bigrammes. Un skip-bigramme est toute paire de mots dans leur ordre de phrase, permettant des écarts entre les deux mots. Cela est similaire à ROUGE-2 mais plus flexible, car cela n'exige pas que les bigrammes soient contigus. Par exemple, dans la phrase « le chat est assis sur le tapis », les skip-bigrammes incluent « le chat », « le est », « le sur », « chat est », et ainsi de suite.
ROUGE-SU étend ROUGE-S en ajoutant des statistiques de co-occurrence basées sur les unigrammes. Cette combinaison permet à la métrique de capturer à la fois la couverture des mots individuels et les relations par paires. Le « U » signifie unigramme, et l'inclusion des unigrammes aide à éviter les problèmes où un résumé du système pourrait avoir un chevauchement élevé de skip-bigrammes mais manquer des mots simples importants.
ROUGE-S et ROUGE-SU sont tous deux plus intensifs en calcul que ROUGE-N, car ils nécessitent l'énumération de tous les skip-bigrammes possibles. Cependant, ils fournissent une représentation plus riche de la structure du texte, ce qui les rend adaptés à l'évaluation de résumés utilisant une formulation variée.
Implémentation et Utilisation
Le paquet logiciel ROUGE est implémenté en Perl et a été développé à l'origine par Chin-Yew Lin à l'Information Sciences Institute de l'Université de Californie du Sud. Le paquet comprend des scripts pour calculer les cinq métriques, ainsi que des options pour gérer plusieurs références, la racinisation et la suppression des mots vides. Une implémentation Java est également disponible, souvent utilisée dans les systèmes de production en raison de ses performances.
Pour utiliser ROUGE, les chercheurs préparent généralement un ensemble de résumés de référence, souvent créés par plusieurs annotateurs humains pour capturer différents résumés valides. Le résumé généré par le système est ensuite comparé à chaque référence, et le score final est généralement le maximum ou la moyenne des références. Le choix entre le maximum et la moyenne dépend du protocole d'évaluation ; par exemple, les tâches DUC utilisent souvent le maximum pour récompenser la capture de tout contenu de référence possible.
ROUGE est devenu une norme de facto dans la recherche sur le résumé, la plupart des articles rapportant les scores ROUGE-1, ROUGE-2 et ROUGE-L. Il est également utilisé dans l'évaluation de la traduction automatique, bien que moins en évidence que BLEU, qui se concentre sur la précision plutôt que sur le rappel. La métrique est largement implémentée dans des bibliothèques telles que evaluate de Hugging Face et le paquet nlg-eval, ce qui la rend accessible aux praticiens.
Limites et Critiques
Malgré son utilisation répandue, ROUGE présente plusieurs limitations connues. Il repose uniquement sur le chevauchement lexical, il ne peut donc pas capturer l'équivalence sémantique. Par exemple, un résumé qui utilise des synonymes ou des paraphrases peut obtenir un score inférieur à celui qui copie des phrases exactes de la référence, même si le premier est plus naturel. Cela a conduit à des critiques selon lesquelles ROUGE encourage le résumé extractif plutôt que les approches abstractives.
Un autre problème est que les scores ROUGE peuvent être gonflés en incluant des mots courants ou en copiant de grandes portions de la référence. Les chercheurs ont proposé des variantes et des alternatives, telles que BERTScore, qui utilise des plongements contextuels de modèles de transformeurs pour mesurer la similarité sémantique. Cependant, ROUGE reste populaire en raison de sa simplicité, de son interprétabilité et de son faible coût de calcul.
À l'ère des grands modèles de langage, ROUGE est toujours utilisé comme métrique de référence, mais il est souvent complété par une évaluation humaine ou d'autres métriques automatisées. L'accent mis par la métrique sur le rappel la rend particulièrement adaptée aux tâches où l'exhaustivité est importante, comme le résumé de nouvelles, mais moins pour la génération créative ou ouverte.
Voir Aussi
ROUGE fait partie d'une famille plus large de métriques d'évaluation en traitement du langage naturel. Les métriques connexes incluent BLEU, qui mesure la précision en traduction automatique, et METEOR, qui intègre la correspondance de synonymes et la racinisation. La mesure F, qui combine précision et rappel, est également pertinente, tout comme la métrique NIST, une variante de BLEU avec des correspondances de n-grammes pondérées. D'autres concepts connexes incluent le découpage en syntagmes nominaux et le taux d'erreur de mots (WER), utilisé en reconnaissance vocale.
Dans le contexte de l'Machine learning et de l'Deep learning, ROUGE est souvent utilisé pour évaluer les systèmes de résumé basés sur les Neural network, y compris ceux basés sur les architectures Transformer (architecture) et les Large language models. La métrique a été appliquée dans la recherche d'institutions comme le MIT CSAIL et le Stanford AI Lab, et elle reste un outil clé dans l'espace de l'Generative AI.