ROUGE（Recall-Oriented Understudy for Gisting Evaluation）は、機械生成された要約や翻訳の品質を評価するために設計された自動評価指標のファミリーである。2004年に南カリフォルニア大学情報科学研究所のChin-Yew LinとEduard Hovyによって導入された。この指標ファミリーは、候補テキスト（機械生成された要約）を1つ以上の参照テキスト（通常は人間が書いた要約）と比較し、語彙の重複の程度を測定することで機能する。特に再現率（候補に参照内容がどの程度含まれているか）に重点を置いている。2002年に機械翻訳用に開発されたBLEUなどの初期の指標が適合率に焦点を当てていたのに対し、ROUGEの再現率重視の方向性は、ソースから重要なポイントをすべて捉えることが重要である要約タスクに特に適していた。
ROUGEは現在も、自然言語処理（NLP）において要約システムのベンチマークや開発のための標準的なツールの1つであり続けている。現代の大規模言語モデルに基づくシステムを含む。DUC（Document Understanding Conferences）などの主要な共有タスクに組み込まれており、人間による評価との比較対象にもなってきた。既知の限界はあるものの、その透明な計算方法と単純さから、研究や産業界で第一線の指標として広く使われている。
主要なバリアント
ROUGEには、テキストの重複の異なる側面をそれぞれ測定するいくつかの異なる指標が含まれる。最も一般的に使われるバリアントは以下の通りである：
- ROUGE-N：候補と参照の間のn-gram（N語の連続シーケンス）の重複を測定する。ROUGE-1はユニグラム（単語）、ROUGE-2はバイグラム（2語のシーケンス）を使用し、ROUGE-3やROUGE-4はあまり使われない。ROUGE-Nの式は、重複するn-gramの数を参照内のn-gramの総数で割ったものである。ROUGE-1とROUGE-2は最も頻繁に報告されるバリアントであり、GEMベンチマークなどのリーダーボードや学術論文によく登場する。
- ROUGE-L：最長共通部分列（Longest Common Subsequence）技術に基づく。候補と参照の両方に現れる単語の最長シーケンスを、順序は保つが連続である必要はない形で見つける。この指標は文レベルの構造を捉え、語順の入れ替えにペナルティを与える。ROUGE-Lには、LCSに基づく再現率、適合率、および両者の調和平均であるF値が含まれる。
- ROUGE-W：ROUGE-Lの重み付きバージョンで、連続する一致により多くのクレジットを与える。使用頻度は低いが、フレーズレベルの順序における流暢さが重要なタスクでは重要になり得る。
- ROUGE-S：スキップバイグラムに基づく指標で、文内の任意の単語ペアを、その間の距離に関係なく順序通りに考慮する。これにより、語順の緩い一致を捉えることができる。一般的なバージョンとしてROUGE-SUがあり、ユニグラムも追加で含む。ROUGE-Sは長い要約によく使われる。
- ROUGE-SU：ROUGE-Sとユニグラム一致を組み合わせたもので、参照が候補の同義語を使用している場合に有用であり、バランスの取れたビューを提供する。
再現率、適合率、Fスコア
ROUGEの元々の設計は再現率に重点を置いていたが、この指標は適合率（候補内の一致するn-gramの数と候補内の総n-gram数の比）およびF1スコア（再現率と適合率の調和平均）としても計算できる。標準的なスクリプトは通常、ROUGE-1-R（再現率）、ROUGE-1-P（適合率）、ROUGE-1-F（F1）の3セットの数値を返す。実務者は単一の要約指標としてF1値を報告することが多い。しかし、元の定義に従って再現率のみを報告する論文もあり、これは長く冗長な要約を生成するシステムが再現率で高得点を取る傾向があるため、誤解を招く可能性がある。これが適合率とF1も確認する重要な動機となっている。
計算例
参照要約を「The cat sat on the mat」とする。候補要約を「The cat is on the mat」とする。ROUGE-1で単語トークン（ステミングが適用されることが多く、各単語を語幹に還元する）を考えると、重複するユニグラムは「the」「cat」「on」「mat」である（「the」は両方に現れ、「sat」は現れない）。ストップワード除去（ストップワードはthe、a、on）を行うと数値は変わる。しかし形式的には、ROUGE-1再現率 = (4) / (5つの参照ユニグラム：「the」「cat」「sat」「on」「the」は1回カウント) = 4/5 = 0.8。適合率 = 4/5（候補には「the」「cat」「is」「on」「mat」の5つのユニグラムがある）= 0.8。F1 = (20.80.8)/(0.8+0.8) = 0.8。この例は語彙の重複を示しているが、同義語（「sat」と「was」など）には対応できない。そのため、ポーターステマーなどのステミングも使用されるが、「sat」を規則に基づいて処理するが、確実ではない。
歴史と進化
ROUGEは2004年に「Automatic Evaluation of Summaries Using N-gram Co-Ocurrence Statistics」という論文で導入され、第36回ACL年次大会の proceedings に掲載された。HovyとLinは、2001年に始まった自動要約の年次評価であるDocument Understanding Conferencesのためにこれを開発した。時が経つにつれ、ROUGEは自動要約の標準的な自動参照セットとなり、後にアメリカ国立標準技術研究所（NIST）によってText Analysis Conferenceで採用された。
この指標の系譜は初期の研究に遡る。テキスト間の類似性を単語の重複で測定できるという考えに基づいており、情報検索におけるBag of Wordsモデルなどの初期の手法に由来する。しかしROUGEは、この設定での再現率の使用を標準化した。
後のバリアントと改善の試みには、ステミングとストップワードリスト処理の導入、およびいくつかのツールキットの利用可能性が含まれる。最も一般的な実装は、Linによって開発されたROUGEパッケージの一部としてのPerlスクリプトであり、現在もSourceForgeにある。より現代的なPythonライブラリ、例えば「py-rouge」やGoogleの「rouge_score」パッケージ内の「Rouge Score」は、より効率的な実装を提供し、現代のシステムの大規模なテキスト出力を処理することを可能にした。
現代のNLPでの使用法
現代のシーケンス・ツー・シーケンスシステムの時代において、ROUGEは評価設定の不可欠な部分となっている。翻訳ではBLEUの補完として、要約では主力として使われている。入力から文をコピーする抽出型システムは簡単に高得点を取るが、深層学習モデルなどの抽象型システムは重要な内容を再現するが、語彙の重複では低くなる可能性がある。
PaiceやSavoyによる研究、あるいはニューラル手法を比較する最近の論文、特にGoogle DeepMindのCLIFFシステムやOpenAIのGPTモデルの改善に関するものには、ROUGE値が含まれている。ROUGEはまた、質問応答や文書簡略化などのタスクでも、カジュアルな参照として使用されている。
その使用は批判がないわけではない。研究により、ROUGEは特に抽象型要約において、人間の判断と中程度の相関しかないことが示されている。意味的な同義語マッチングや言い換え検出の欠如は大きな欠点である。純粋に語彙ベースであるため、参照と同等に良い言い換えでも、正確な単語が一致しない場合はROUGEスコアが大幅に低くなる。これにより、ニューラルTransformer (architecture)モデルの埋め込みを使用するBERTScore（2019年）や、ステミングと同義語処理を組み込んだMETEORなど、他の評価指標の開発につながった。
これらにもかかわらず、ROUGEは安価で決定的で理解しやすいため、デフォルトとして使用されている。多くのモデルカードや研究レポートでは、新しい指標と並んでROUGEを公開している。
研究とベンチマークへの応用
CNN/DailyMail（Map、AMFから取得）などの大規模な公開要約データセットや、Xsum、BIllSumなどの他のセットでは、多くの論文がROUGEを報告している。この流れに沿って、大規模言語モデルの時代では、モデルと人間が書いた要約を比較する研究でROUGEが使用されている。2003年のDUCシリーズには1つか2つの参照しか含まれていなかったが、複数の参照を用いる現代の一般的な実践では、ROUGEは最大値または平均値を使用してスコアを集約する。
実用的な考慮事項
ROUGEを使用する際、スコアに影響を与える標準的なテクニックがいくつかある：
- ステミング：ポーターステマーを使用して、異なる語形（cats -> cat）を正規化することが多い。
- ストップワード除去：一部のパイプラインでは、「the」「a」などの頻出語を除外してノイズを減らすが、スコアが低下する可能性がある。
- 長さ：ROUGEは要約の長さに敏感である。長い要約は自然に高い再現率を持つ。一般的に、データセット間でそのまま使用することはできない。
- 複数の参照：複数の参照を使用すると、より多くの異なるn-gramがカバーされるため、スコアが上昇する傾向がある。
- F値：前述の通り、報告にはF1またはその両方、あるいはすべてを使用することがあるが、一貫性が重要である。
レビューと今後の方向性
古さにもかかわらず、ROUGEは廃れることはない。言語モデリングにおけるPerplexityと同様の寿命を持つ。近年では、順序や事実をより適切に扱うための修正や、モデルとの含意関係を使用する提案もあるが、これらはコストがかかる。
ROUGEは、候補が参照から内容を逃さないことを確認するための一貫性のある解釈可能な方法を提供し、テキスト理解タスクにおけるSequence-to-Sequence (Seq2Seq)モデルの評価の標準的な部分であり続けている。研究コミュニティはこれをベースとして維持し、補完的な指標を追加している。
人間の結果を扱う研究や創造的な要約の処理に関する将来の研究がこれを時代遅れにするかもしれないが、スコア自体は単純なベースライン指標として残り続ける可能性が高い。