ROUGE

ROUGE (Recuerdo-Orientado Substituto para la Evaluación de Resúmenes) es una familia de métricas de evaluación automática diseñadas para evaluar la calidad de resúmenes y traducciones generados por máquinas. Fue introducida en 2004 por Chin-Yew Lin y Eduard Hovy en el Instituto de Ciencias de la Información de la Universidad del Sur de California. La familia de métricas opera comparando un texto candidato (el resumen generado por máquina) contra uno o más textos de referencia (típicamente resúmenes escritos por humanos) y midiendo el grado de solapamiento léxico, con un énfasis particular en el recuerdo (cuánto del contenido de la referencia aparece en el candidato). Mientras que métricas anteriores como BLEU, desarrollada en 2002 para traducción automática, se centraban en la precisión, la orientación de ROUGE hacia el recuerdo lo hizo especialmente adecuado para el resumen, donde capturar todos los puntos importantes de una fuente es crítico.

ROUGE sigue siendo una de las herramientas estándar en el procesamiento de lenguaje natural (PLN) para comparar y desarrollar sistemas de resumen, incluidos los construidos sobre modelos de lenguaje de gran escala modernos. Está integrado en tareas compartidas importantes como las DUC (Conferencias de Comprensión de Documentos) y ha sido un punto de comparación para la evaluación humana. Aunque tiene limitaciones conocidas, su cálculo transparente y simplicidad lo han convertido en una métrica de primera línea común en la investigación y la industria.

Variantes básicas

ROUGE incluye varias métricas distintas, cada una midiendo diferentes aspectos de la superposición de textos. Los variantes más comunes son:

• ROUGE-N: Mide la compatibilidad de n-gramas (secuencias contiguas de N palabras) entre un candidato y una referencia. ROUGE-1 usa unigramas (palabras simples), ROUGE-2 usa bigramas (secuencias de dos palabras), y ROUGE-3 y ROUGE-4 se usan con menos regularidad. La fórmula para ROUGE-2 es el número de n-gramas de listado dividido por el total de n-gramadas en la referencia. ROUGE-1 y ROUGE-2 son las variantes más reportadas, a menudo apareciendo en tablas de clasificación como el benchmark GEM y en papers académicos.

• ROUGE-2: Basado en la técnica de subaccessencia común más larga (LCS). Encuentra la secuencia más larga de palabras que aparece tanto en el candidato como en la referencia, en orden pero no necesariamente de forma contigua. Esta métrica captura la estructura a nivel de oraciones y penaliza las reorganizaciones del orden. ROUGE-L incluye tanto el recuerdo basado en LCS, la precisión, como una medida-F, que es la media-armónica de los dos.

• ROUGE-L: Una versión ponderada de ROUGE-L que da más crédito a las comparaciones consecutivas. Se usa menos a menudo, pero puede ser importante en tareas donde la fluidez en el orden de apropiados es relevante.

• ROUGE-S: Basada en skip-gram, que permite cualquier par de palabras en orden de oración, sin importar la distancia entre ellas. Esto tolera un orden de palabras más flexible a menúa. Una versión común es ROUGE-SU, que además incluye unigramas. ROUGE-S se usa frecuentemente para resúmenes más largos.

• ROUGE-SU: Combina ROUGE-S con compatibilidad de unigram, útil cuando una referencia usa sinónimos y proporciona una vista equilibrada.

Recuerdo, Precisión y Puntuación F

Mientras que el diseño original de ROUGE se centraba en el recuerdo, la métrica también puede calcularse como precisión (la relación de n-grams coincidentes en el candidato al total de n-grams en el candidato) y puntaje F1 (la media armónica de recuerdo y precisión). Los bases de cálculo estándar típicamente devuelven tres conjuntos de números: ROUGE-1-R (recuerdo), ROUGE-1-P (precisión), y ROUGE-1-F (F1). Los practicantes a menudo reportan el valor F1 como un resumen simple. Sin embargo, algunos papers reportan solo recuerdo, siguiendo la definición original, lo que puede ser confuso porque los sistemas que generan resúmenes largos y verbosos tienden a obtener mayores calificaciones de recuerdo. Esto es una motivación clave para también revisar la precisión y el F1.

Ejemplo de cálculo

Considere un resumen de referencia: "El gato se sentó sobre la alfombra". Un resumen candidato: "El gato está en la alfombra". Para ROUGE-1 con tokens de palabras (después de la lematización, que se aplica a menudo para reducir cada palabra a su raíz), los unigramas que coinciden son 'el', 'gato', 'la' (note que 'se' no aparece). Con eliminación de palabras vacías ('el', 'en', 'la') los números cambiarían. Pero formalmente el recuerdo ROUGE-1 = (2) / (5 unigramas de referencia: 'el', 'gato', 'sentó', 'sobre', 'la') = 2/5 = 0.4. La precisión = 2/4 (el candidato tiene 4 unigramas 'el', 'gato', 'está', 'alfombra') = 0.5. F1 = (20.40.5)/(0.4+0.5) = 0.444. Este ejemplo muestra la delimitación léxica pero falla en sinónimos ('sentó' vs. 'está' no coinciden). Por lo tanto también la importancia de la lematización (por ejemplo, con un stemmer) para normalizar variaciones, aunque no es confiable para todas las palabras.

Historia y evolución

ROUGE fue introducido en 2004 en un artículo titulado "Automatic Evaluation of Summaries Using N-gram Co-Occurrence Statistics" publicado en las actas de la 36ª Reunión Anual de la Asociación de Lingüística Computacional. Hovy y Lin lo desarrollaron para las Conferencias de Comprensión de Documentos, una evaluación anual de resúmenes automáticos que comenzó en 2001. Con el tiempo, ROUGE se convirtió en el estándar de referencia para el resumen automático y fue adoptado por el Instituto Nacional de Estándares y Tecnología de Estados Unidos para la Conference de Análisis de Textos.

La métrica descendiente de trabajos anteriores. Se basa en la idea de que la similitud entre textos puede estimarse mediante la compatibilidad de palabras, que data de métodos anteriores en la recuperación de información, como el modelo de bolsa de palabras. Pero ROUGE estandarizó un uso del recuerdo en este contexto.

Las variantes y esfuerzos de mejora posteriores incluyeron la introducción de la lematización y el procesamiento de listas de palabras vacías, además de la disponibilidad de varias herramientas. La implementación más común está en perl como parte del paquete ROUGE, desarrollado por Lin, que se mantiene disponible en SourceForge. Bibliotecas modernas como "py-rouge" y el "Rouge Score" de Google en el paquete "rouge_score" han proporcionado una implementación más eficiente, haciendo factible manejar los grandes resultados de texto de los sistemas contemporáneos.

Uso en el PLN moderno

En la era de los sistemas modernos secuencia a secuencia, ROUGE ha sido una parte integral de los marcos de detección. Para traducción, se complementa con BLEU. Para el resumen, es la métrica principal. Los sistemas extractivos, que copian oraciones del input, pueden obtener puntuaciones altas fácilmente; para modelos de aprendizaje profundo abstractivos, que reproducen contenido importante sin reproducir, pueden bajar en la compatibilidad léxica.

Trabajos como el de Paice y Savoy, o los estudios recientes que comparan métodos neuronales, notablemente los sistemas CLIFF de Google DeepMind o mejoras en los modelos GPT de OpenAI, incluyen valores ROUGE. ROUGE se usa también en tareas como la respuesta a preguntas y la simplificación de documentos, debido a su facilidad de referencia.

Su uso no ha estado exento de críticas. La investigación ha mostrado que ROUGE se correlaciona solo moderadamente con el juicio humano, especialmente para resúmenes abstractivos. La falta de compatibilidad semántica, como sinónimos o paráfrasis, es un gran inconveniente. Debido a que es puramente léxico, una paráfrasis buena como la humana pero que no coincide con las palabras exactas obtiene puntajes ROUGE mucho más bajos. Esto llevó al desarrollo de otras métricas de evaluación, como BERTScore (2019), que usa embeData de modelos Transformer (architecture) neuronales, y METEOR, que incorpora der rocess-and del sinónimos.

A pesar de eso, ROUGE se usa por defecto porque es barato, determinístico y fácil de entender. Muchas tarjetas de modelo y informes de investigación publican valores ROUGE junto con métricas alternativas.

Aplicación en investigación y benchmarks

Los conjuntos de datos para tiextos grandes, como CNN/DailyMail (obtenidos de Map, AMF) y otros como Xsum y BIllSum - mucho papers reportan sus resultados. Siguiendo el linaje en la era de los asterisk modelos de lenguaje de gran escala, los estudios que comparan modelos con resúmenes escritos por humanos usan ROUGE ampli a vez. La serie DUC en 2003 incluía solo una o dos referencias; la práctica moderna con múltiples referencias, ROUGE también la puntuó, típicamente usando el máximo o el promedio.

Consideraciones prácticas

Al usar ROUGE, hay varios trucos estándar que afectan los resultados:

• Lematización: A menudo uso del stemmer de Porter para normalizar formas de palabras (gatos - > gato).
• Eliminación de palabras: Algunas pruebas excluyen palabras frecuentes como 'el', 'un' para reducir la ruido, pero esto puede reducir resultados.
• Longitud: ROUGE sensible a la longitud del resumen. Los resúmenes más largos tienden a lograr resultados más altos. Generalmente, no se puede comparar directamente entre resultados.
• Múltiples referencias: Usar múltiples referencias tiende a aumentar los resultados, ya que se cubren formas más variadas de expresión.
• Atrapa o medida F1 puede ser reportada, pero es importante para la consistencia.

Revisión y direcciones futuras

A pesar de su antigüedad, ROUGE no va a desaparecer. Tiene una longevidad similar a la de la perplejidad en el aprendizaje-. En el último año, se han propuesto modificaciones para abordar mejor el orden de las palabras o los hechos, o para usar la condición de implicación de modelos recientes, pero estos son costosos.

ROUGE ofrece una forma consistente y interpretable de verificar que el candidato no pierde contenido respecto a la referencia, y sigue siendo una parte estándar en la evaluación de modelos de [[ÁTODO árbol a Á][secuencia a secuencia]] en tareas de comprensión de texto. La comunidad investigadora lo mantiene como base, añadiendo métricas para complementarlo.

La investigación futura en resultados humanos y en manejas de resúmenes creativos pueden hacerlo obsoleto, pero la puntuación en sí misma probablemente permanezca como una medida simple de referencia.