ROUGE

ROUGE (Recall-Oriented Understudy for Gisting Evaluation) est une famille de métriques d'évaluation automatiques conçues pour évaluer la qualité des résumés générés par machine et des traductions. Elle a été introduite en 2004 par Chin-Yew Lin et Eduard Hovy à l'Université de Californie du Sud, à l'Institut des sciences de l'information. La famille de métriques fonctionne en comparant un texte candidat (le résumé généré par machine) contre un ou plusieurs textes de référence(typiquement des résumés rédigés par des humains)et en mesurant le degré de chevauchement lexical, avec un accent particulier sur le rappel(quelle quantité du contenu de référence apparaît dans le candidat). Alors que des métriques antérieures telles que BLEU, développées en 2002 pour la traduction automatique, se concentraient sur la précision, l'orientation de ROUGE vers le rappel l'a rendue particulièrement adaptée au résumé automatique, où capturer tous les points importants d'une source est crucial.

ROUGE reste l'un des outils standard en traitement automatique du langage naturel(TALN) pour l'évaluation comparative et le développement de systèmes de résumé, y compris ceux construits sur des grands modèles de langage modernes. Elle est intégrée dans des tâches partagées majeures telles que les DUC (Conférences sur la compréhension de documents)et a été un point de comparaison pour l'évaluation humaine. Bien qu'elle présente des limites connues, son calcul transparent et sa simplicité en ont fait une métrique de première ligne courante dans la recherche et l'industrie## Variantes principales

ROUGE englobe plusieurs métriques distinctes, chacune mesurant différents aspects du chevauchement de texte. Les variantes les plus couramment utilisées sont:

• ROUGE-N: Cela mesure le chevauchement de n-grammes(séquences contiguës de N mots)entre un candidat et une référence. ROUGE-1 utilise des unigrammes(mots simples), ROUGE-2 utilise des bigrammes(séquences de deux mots, et ROUGE-3 et ROUGE-4 sont utilisées moins souvent. La formule pour ROUGE-N est le nombre de n-grammes se chevauchant divisé par le nombre total de n-grammes dans la référence. ROUGE-1 et ROUGE-2 sont les variantes les plus fréquemment rapportées, apparaissant souvent sur des classements tels que le benchmark GEM et dans des articles académiques.

• ROUGE-L: Basée sur la technique de la plus longue sous-séquence commune. Elle trouve la plus longue séquence de mots qui apparaît dans le candidat et la référence, dans l'ordre mais pas nécessairement de manière contiguë. Cette métrique capture la structure au niveau de la phrase et pénalise le réordonnancement. ROUGE-L inclut à la fois le rappel basé sur la plus longue sous-séquence commune(LCS), la précision, et une mesure F, qui est la moyenne harmonique des deux.

• ROUGE-W: Une version pondérée de ROUGE-L qui accorde plus de crédit aux correspondances consécutives. Elle est moins fréquemment utilisée mais peut être importante pour des tâches où la fluidité dans l'ordre des phrases est cruciale

• ROUGE-S: Métrique basée sur les bigrammes sautés, permettant toute paire de mots dans l'ordre de la phrase, indépendamment de la distance entre eux. Cela capture un ordre de mots lâche. Une version courante est ROUGE-SU, qui inclut également des unigrammes. ROUGE-S est souvent utilisée pour des résumés plus longs

• ROUGE-SU: Combine ROUGE-S avec la correspondance d'unigrammes, utile lorsqu'une référence utilise un synonyme d'un candidat- et fournit une vue équilibrée

Rappel, Précision, et Score F

Bien que la conception originale de ROUGE soit centrée sur le rappel, la métrique peut également être calculée comme précision(le rapport des n-grammes correspondants dans le candidat au nombre total de n-grammes dans le candidat)et score F1(la moyenne harmonique du rappel et de la précision. Les scripts standard renvoient typiquement trois ensembles de nombres: ROUGE-1-R (rappel, ROUGE-1-P (précision, et ROUGE-1-F (F1. Les praticiens rapportent souvent la valeur F1 comme une métrique de résumé unique. Cependant, certains articles ne rapportent que le rappel, suivant la définition originale, ce qui peut être trompeur car les systèmes qui génèrent des résumés longs et verbeux tendent à obtenir des scores plus élevés en rappel. C'est une motivation clé pour également vérifier la précision et le F1

Exemple de calcul

Considérez un résumé de référence: "Le chat s'est assis sur le tapis". Un résumé candidat: "Le chat est sur le tapis." Pour ROUGE-1 avec des jetons de mots(après racinisation, qui est souvent appliquée pour réduire chaque mot à sa forme racine, les unigrammes se chevauchant sont 'le', 'chat', 'sur', 'tapis'(notez que 'le' apparaît dans les deux, 's'est' n'apparaît pas. Avec la suppression des mots vides(les mots vides sont le, un, sur)les nombres changeraient. Mais formellement, le rappel ROUGE-1 = (4)/(5 unigrammes de référence: 'le', 'chat', 's'est', 'assis', 'sur', 'le', 'tapis' compté une fois) = 4/5 = ​0.8. La précision = 4/5 (le candidat a 5 unigrammes 'le', 'chat', 'est', 'sur', 'tapis') = ​0.8. F1 = (20.80.8)/(0.8+0.8) = ​0.8. Cet exemple montre le chevauchement lexical mais échoue sur les synonymes('s'est' vs. 'était' serait absent. D'où aussi l'utilisation de la racinisation(stemmer de Porter)qui réduit 's'est' à 's'est' basé sur des règles qui gèrent, mais pas de manière fiable.

Histoire et évolution

ROUGE a été introduite en 2004 dans un article intitulé"Automatic Evaluation of Summaries Using N-gram Co-Occurrence Statistics" publié dans les actes de la 36e réunion annuelle de l'Association pour la linguistique computationnelle. Hovy et Lin l'ont développée pour les Conférences sur la compréhension de documents, une évaluation annuelle du résumé automatique qui a commencé en 2001. Au fil du temps, ROUGE est devenue la référence automatique standard pour le résumé automatique, et elle a ensuite été adoptée par l'Institut national américain des normes et de la technologie(NIST)pour la Conférence sur l'analyse de texte.

La lignée de la métrique provient de travaux antérieurs. Elle s'appuie sur l'idée que la similarité entre des textes peut être mesurée par le chevauchement de mots, remontant à des méthodes antérieures en recherche d'information telles que le modèle du sac de mots. Mais ROUGE a standardisé l'utilisation du rappel dans ce contexte

Les variantes ultérieures et les efforts d'amélioration ont inclus l'introduction de la racinisation et du traitement des listes de mots vides, et la disponibilité de plusieurs boîtes à outils. L'implémentation la plus courante est en script Perl dans le cadre du paquet ROUGE, développé par Lin, qui reste sur SourceForge. Des bibliothèques Python plus modernes telles que "py-rouge" et le "Rouge Score" dans le paquet "rouge_score" de Google fournissent une implémentation plus efficace, rendant possible le traitement des grandes sorties de texte des systèmes contemporains

Utilisation dans le TALN moderne

Dans l'ère des systèmes modernes de séquence à séquence, ROUGE a été une partie intégrante des configurations d'évaluation. Pour la traduction, elle était un complément à BLEU. Pour le résumé, elle est l'outil de travail. Pour les systèmes extractifs, qui copient des phrases de l'entrée, ils obtiennent des scores élevés facilement; pour les modèles d'apprentissage profond abstractifs, ils reproduisent un contenu important mais peuvent obtenir des scores plus bas en chevauchement lexical

Des travaux tels que ceux de Paice et Savoy, ou les articles récents comparant des méthodes neuronales, notamment les systèmes CLIFF de Google DeepMind ou les améliorations dans les modèles GPT de OpenAI, incluent des valeurs ROUGE. ROUGE est également utilisée dans des tâches comme la réponse aux questions et la simplification de documents, en raison de sa référence occasionnelle

Son utilisation n'a pas été sans critique. La recherche a montré que ROUGE corrèle seulement modérément avec le jugement humain, surtout pour les résumés abstractifs. Le manque de correspondance sémantique de synonymes et de détection de paraphrase est un inconvénient majeur. Parce qu'elle est purement lexicale, une paraphrase qui est aussi bonne que la référence mais qui ne correspond pas aux mots exacts obtient des scores ROUGE considérablement plus bas. Cela a conduit au développement d'autres métriques d'évaluation, telles que BERTScore (2019,, qui utilise des plongements de modèles neuronaux Transformer (architecture), et METEOR qui incorpore la racinisation et la gestion des synonymes

Malgré cela, ROUGE est utilisée comme défaut parce qu'elle est peu coûteuse, déterministe, et facile à comprendre. De nombreuses cartes de modèles et publications de recherche publient ROUGE, aux côtés de mesures plus récentes

Application dans la recherche et les benchmarks

De grands ensembles publics de résumés tels que CNN/DailyMail(obtenus de Map, AMF)et d'autres ensembles comme Xsum et BIllSum - beaucoup d'articles rapportent cela. Suivant la lignée et l'ère des grands modèles de langage, des études comparant des modèles et des résumés rédigés par des humains ont utilisé ROUGE avec FAR. La série DUC en 2003 incluait seulement une ou deux références; la pratique moderne typique avec plusieurs références, ROUGE agrège également les scores en utilisant le max ou la moyenne

Considérations pratiques

Lors de l'utilisation de ROUGE, il y a quelques astuces standard qui affectent les scores:

• Racinisation: Souvent en utilisant le stemmer de Porter pour normaliser les formes variées de mots(chats -> chat.
• Suppression des mots vides: Certains pipelines excluent des mots fréquents comme 'le', 'un' pour réduire le bruit, mais cela peut diminuer les scores

• Longueur: ROUGE est sensible à la longueur du résumé. Les résumés longs ont naturellement un rappel élevé. Généralement, on ne peut pas l'utiliser de manière transversale aux ensembles de données

• Références multiples: Utiliser plusieurs références de qualité(R1)et cela tend à augmenter les scores, car plus de n-grammes distincts sont couverts

• Mesure F: Comme noté, le rapport T1 pourrait utiliser 1--2 ou tous, mais il est important d'être cohérent

Revue et orientations futures

Malgré son âge, ROUGE ne va pas disparaître. Elle a une longévité similaire à la perplexité - ou peut-être pas - comme une métrique plus simple dans la modélisation du langage. Dans la dernière année, des travaux ont proposé des modifications pour mieux traiter l'ordre et les faits, ou pour utiliser l'implication avec des modèles, mais ceux-ci sont coûteux

ROUGE offre un moyen cohérent et interprétable de vérifier que le candidat ne manque pas de contenu de la référence, et elle reste une partie standard pour l'évaluation des modèles Sequence-to-Sequence (Seq2Seq) dans les tâches de compréhension de texte. La communauté de recherche la garde comme base, ajoutant des métriques pour compléter

La recherche future sur les résultats humains et la gestion des résumés créatifs pourrait la rendre obsolète, mais le score lui-même est susceptible de rester comme une mesure de référence simple.