ROUGE，即面向摘要评估的召回导向替身（Recall-Oriented Understudy for Gisting Evaluation），是一组指标和一个软件包，用于评估自然语言处理中的自动摘要和机器翻译软件。这些指标将自动生成的摘要或翻译与一个或多个参考（人工生成的）摘要或翻译进行比较。ROUGE指标的取值范围在0到1之间，分数越高表示自动生成的结果与参考结果之间的相似度越高。
ROUGE于2004年由南加州大学信息科学研究所的研究人员Chin-Yew Lin和Eduard Hovy提出。它的开发是为了应对文本摘要评估中对自动评估方法的日益增长的需求，此前该领域主要依赖人工判断。该名称是对BLEU指标的一种戏仿，BLEU侧重于精确率，而ROUGE则强调召回率，反映了其关注点在于系统输出中捕捉到了多少参考内容。
核心指标
ROUGE软件包包含五个主要评估指标，每个指标从不同角度衡量系统摘要与参考摘要之间的相似性。
ROUGE-N
ROUGE-N衡量系统摘要与参考摘要之间n元组（n-gram）的重叠情况。n元组是指给定文本中连续出现的n个词项。ROUGE-1指的是单词（unigram）的重叠，即每个单词的匹配情况；ROUGE-2指的是二元组（bigram）的重叠，即相邻词对的匹配情况。更高阶的n元组，如ROUGE-3或ROUGE-4，虽然较少使用，但也可以指定。该指标的计算方法是重叠n元组的数量与参考摘要中n元组总数之比，因此它侧重于召回率。
ROUGE-L
ROUGE-L使用系统摘要与参考摘要之间的最长公共子序列（LCS）来衡量相似性。LCS是指在两个文本中以相同顺序出现但不一定连续的最长词序列。这种方法能够自然地捕捉句子层面的结构相似性，并自动识别最长的共现有序词序列。与ROUGE-N不同，ROUGE-L不要求n元组完全连续匹配，因此对词序变化具有更强的鲁棒性。
ROUGE-W
ROUGE-W是ROUGE-L的加权变体，它更倾向于连续的LCS匹配。在标准LCS中，五个连续词的匹配与五个分散在文本中的词的匹配被视为同等价值。而ROUGE-W则对连续匹配赋予更高的权重，这更好地反映了在摘要质量评估中连续短语的重要性。
ROUGE-S
ROUGE-S衡量跳跃二元组（skip-bigram）的共现统计量。跳跃二元组是指句子中任意两个按顺序出现的词对，它们之间允许存在任意间隔。例如，在句子“the cat sat on the mat”中，跳跃二元组包括“the cat”、“the sat”、“cat sat”、“cat on”等。该指标能够捕捉词级共现模式，同时允许词序具有一定的灵活性。
ROUGE-SU
ROUGE-SU在ROUGE-S的基础上增加了单词（unigram）共现统计。这种组合提供了更全面的度量，既考虑了单个词的匹配，也考虑了跳跃二元组的匹配。ROUGE-SU通常用于评估那些可能存在显著词汇差异的摘要。
使用与实现
ROUGE软件包最初是用Perl实现的，后来改用Java，Java版本被广泛采用。该软件包包含用于计算上述五个指标的脚本，以及用于处理输入文件和格式化结果的工具。使用ROUGE时，评估者需要准备系统摘要和参考摘要的纯文本文件，然后运行相应的脚本并指定参数，例如ROUGE-N中的n元组阶数或ROUGE-W中的加权因子。
ROUGE已成为自然语言处理领域中的标准评估工具。它在研究论文、学术竞赛和行业评估中被广泛使用。例如，文档理解会议（DUC）和文本分析会议（TAC）均由美国国家标准与技术研究院（NIST）组织，它们都将ROUGE作为摘要任务的主要评估指标。这些会议推动了ROUGE的许多开发和完善工作。
与其他指标的关系
ROUGE经常与BLEU进行比较，BLEU是另一种广泛使用的机器翻译评估指标。BLEU侧重于精确率，衡量系统输出中有多少n元组出现在参考中；而ROUGE侧重于召回率，衡量参考中有多少n元组出现在系统输出中。在实践中，许多评估会同时报告这两个指标，以提供更全面的视角。其他相关指标还包括METEOR，它结合了同义词匹配和词干还原；以及NIST指标，它根据信息量对n元组匹配进行加权。ROUGE还与F值（F-measure）相关，F值是精确率和召回率的调和平均，能够综合反映两者；此外，ROUGE也与词错误率（WER）相关，后者常用于语音识别评估。
在现代AI中的应用
随着大型语言模型和生成式AI系统的兴起，ROUGE重新获得了重要地位。例如，由OpenAI、Anthropic和Google DeepMind等机构开发的模型，在摘要任务中经常使用ROUGE进行评估。像CNN/Daily Mail和XSum这样的基准数据集由新闻文章及其人工撰写的摘要组成，常用于测试模型性能，并同时报告ROUGE分数及其他指标。
然而，ROUGE也存在已知的局限性。它完全依赖于词汇层面的重叠，无法考虑语义含义、同义词或释义。一个用不同词汇表达相同信息的摘要可能获得较低的ROUGE分数，尽管其质量很高。这引发了批评，并促使了替代指标的发展，例如BERTScore，它利用Transformer模型的上下文嵌入来评估语义相似性；以及MoverScore，它结合了语义相似性与词距度量。尽管存在这些替代方案，ROUGE因其简单性、可解释性和较低的计算成本，仍然被广泛使用。
实际考量
在使用ROUGE时，有几个实际因素会影响评估结果。参考摘要的选择至关重要；使用多个参考摘要可以提高评估的可靠性，因为这能够涵盖人工摘要的多样性。预处理步骤，如词干还原或去除停用词，也会影响分数。摘要的长度同样重要；ROUGE倾向于给较长的系统摘要更高分数，因为更长的文本更可能包含参考中的n元组，不过可以通过长度惩罚或同时评估精确率和召回率来缓解这一问题。
近年来，机器学习社区对ROUGE在评估现代摘要系统方面的充分性展开了辩论。研究表明，ROUGE与人工判断的相关性仅为中等水平，尤其是在抽象式摘要中，模型生成的是全新句子而非提取原文片段。这促使人们呼吁建立更强大的评估框架，纳入基于人工智能的指标，例如使用神经网络和深度学习技术的评估方法。
结论
ROUGE仍然是文本摘要和机器翻译评估中的基础工具。它的五个指标从不同角度提供了词汇相似性的度量，从简单的单词重叠到复杂的跳跃二元组和基于LCS的度量。尽管更新的指标提供了更精细的语义分析，ROUGE凭借其易用性和成熟的实践记录，在学术界和工业界仍将继续被广泛使用。随着生成式AI的持续发展，对可靠评估指标的需求只会不断增长，而ROUGE很可能仍将是衡量新方法优劣的基准。