ROUGEスコア

ROUGE（Recall-Oriented Understudy for Gisting Evaluation）是一组用于评估自动摘要和机器翻译的指标及软件，通过将系统输出与人工参考进行比较，从0到1对相似度进行评分。

ROUGE（Recall-Oriented Understudy for Gisting Evaluation）は、自然言語処理において自動要約および機械翻訳ソフトウェアを評価するために使用される、一連の指標とソフトウェアパッケージである。この指標は、自動生成された要約または翻訳を、参照（人間が作成した）要約または翻訳、あるいはその集合と比較する。ROUGE指標は0から1の範囲で値を持ち、スコアが高いほど自動生成された要約と参照との類似性が高いことを示す。

ROUGEは2000年代初頭に、テキスト要約における自動評価の必要性が高まる中で導入された。この分野は以前は人間の判断に大きく依存していた。これは研究コミュニティにおける標準的なツールとなり、特に米国国立標準技術研究所（NIST）が主催する文書理解会議（DUC）および後のテキスト分析会議（TAC）で採用されてから、その地位を確立した。この名前自体は、機械翻訳評価に使用されるBLEU指標への遊び心のある言及であり、BLEUはBilingual Evaluation Understudyの略で、ROUGEは「B」を「R」に置き換えて再現性重視の評価を強調している。

ROUGEの核となる考え方は、候補テキストと1つ以上の参照テキストとの間の語彙単位の重なりを測定することである。この重なりは通常、n語の連続するシーケンスであるn-gram、または最長共通部分列などの他の構造パターンを使用して計算される。再現性に焦点を当てることで、ROUGEはシステム出力が参照コンテンツのどれだけを捕捉しているかを評価する。これは、ソースからの重要な情報を含めることが目標である要約において特に重要である。

ROUGE-N

ROUGE-Nは最も基本的な変種であり、システム要約と参照要約の間のn-gramの重なりを測定する。この指標は、一致するn-gramの数を参照内のn-gramの総数で割ったものとして計算される。例えば、ROUGE-1はシステム要約と参照要約の間のユニグラム（各単語）の重なりを指し、ROUGE-2はバイグラム（連続する単語のペア）の重なりを指す。

ROUGE-1は、個々の単語の存在を捕捉するため、コンテンツカバレッジの代理指標としてよく使用される。しかし、一般的な単語を多く含めることで操作される可能性があるため、単語の順序が重要なタスクではROUGE-2が好まれることが多い。実際には、ROUGE-1とROUGE-2は研究論文で最も一般的に報告される変種であり、多くの場合ROUGE-Lと並んで報告される。

ROUGE-Nの式は単純であり、特定のnに対して、スコアはシステム要約と参照要約の両方に現れるn-gramの数と参照要約内のn-gramの数の比率である。複数の参照が使用される場合、スコアは通常、すべての参照にわたる最大値として計算されるか、実装によっては平均値として計算される。

ROUGE-L

ROUGE-Lは、システム要約と参照要約の間の最長共通部分列（LCS）を使用する。LCSは、両方のテキストに同じ順序で現れる最長の単語シーケンスであり、必ずしも連続している必要はない。このアプローチは、文レベルの構造的類似性を自然に考慮し、共起するシーケンス内のn-gramを自動的に識別する。

ROUGE-Nが正確なn-gram一致を必要とするのに対し、ROUGE-Lは一致した単語間のギャップを許容するため、より柔軟である。これにより、コンテンツを言い換えながらアイデアの全体的な順序を維持する要約の評価に特に有用である。LCSベースのスコアは動的計画法アルゴリズムを使用して計算され、文レベルまたは要約レベルで適用できる。

ROUGE-Lの限界の1つは、一致が連続しているかどうかに関係なく、すべてのLCS一致を同等に扱うことである。これにより、散在する一致を持つ要約が、より一貫性のある少数の連続一致を持つ要約よりも高いスコアを得る状況が生じる可能性がある。この問題に対処するため、重み付き変種であるROUGE-Wが開発された。

ROUGE-W

ROUGE-Wは、連続するLCSを優先する重み付きLCSベースの統計量である。アイデアは、テキスト内で連続して現れる一致に高い重みを割り当てることである。これらは意味のあるフレーズレベルの重なりを反映する可能性が高いためである。重み付けは、非連続一致に対するペナルティを調整するパラメータによって制御される。

実際には、ROUGE-WはROUGE-Lよりも使用頻度が低いが、評価者が流暢さや局所的な一貫性を強調したいシナリオで有用である。実装には重み付けパラメータの慎重な調整が必要であり、これは特定のタスクに基づいて経験的に設定されることが多い。

重み付きアプローチは、参照全体に散在する単語に一致するシステム要約が、構造が不十分であるにもかかわらず高いLCSスコアを受け取る問題を軽減するのに役立つ。連続性に報いることで、ROUGE-Wはより微妙な類似性の尺度を提供する。

ROUGE-SおよびROUGE-SU

ROUGE-Sは、スキップバイグラムベースの共起統計量を測定する。スキップバイグラムは、文の順序での任意の単語ペアであり、2つの単語間のギャップを許容する。これはROUGE-2に似ているが、バイグラムが連続している必要がないため、より柔軟である。例えば、「the cat sat on the mat」という文では、スキップバイグラムには「the cat」、「the sat」、「the on」、「cat sat」などが含まれる。

ROUGE-SUは、ユニグラムベースの共起統計量を追加することでROUGE-Sを拡張する。この組み合わせにより、個々の単語カバレッジとペアワイズ関係の両方を捕捉できる。「U」はユニグラムを表し、ユニグラムを含めることで、システム要約が高いスキップバイグラム重なりを持つが重要な単語を欠く問題を回避するのに役立つ。

ROUGE-SとROUGE-SUはどちらも、すべての可能なスキップバイグラムを列挙する必要があるため、ROUGE-Nよりも計算集約的である。しかし、テキスト構造のより豊かな表現を提供し、多様な言い回しを使用する要約の評価に適している。

実装と使用法

ROUGEソフトウェアパッケージはPerlで実装されており、元々は南カリフォルニア大学情報科学研究所のChin-Yew Linによって開発された。パッケージには、5つの指標すべてを計算するスクリプトと、複数の参照、ステミング、ストップワード除去を処理するオプションが含まれている。Java実装も利用可能であり、パフォーマンスのため本番システムでよく使用される。

ROUGEを使用するために、研究者は通常、複数の人間のアノテーターによって作成された参照要約のセットを準備し、異なる有効な要約を捕捉する。システム生成の要約は各参照と比較され、最終スコアは通常、参照全体の最大値または平均値である。最大値と平均値の選択は評価プロトコルに依存し、例えばDUCタスクでは、可能な参照コンテンツのいずれかを捕捉することを報いるために最大値が使用されることが多い。

ROUGEは要約研究における事実上の標準となっており、ほとんどの論文がROUGE-1、ROUGE-2、ROUGE-Lスコアを報告している。また、機械翻訳評価でも使用されるが、精度に焦点を当てたBLEUほど顕著ではない。この指標は、Hugging Faceのevaluateやnlg-evalパッケージなどのライブラリで広く実装されており、実務者がアクセスしやすくなっている。

限界と批判

広く使用されているにもかかわらず、ROUGEにはいくつかの既知の限界がある。純粋に語彙の重なりに依存するため、意味的等価性を捕捉できない。例えば、同義語や言い換えを使用する要約は、参照から正確なフレーズをコピーするものよりも低いスコアになる可能性があり、後者がより自然であってもである。これにより、ROUGEが抽出的要約を促進し、抽象的アプローチを阻害するという批判が生じている。

もう1つの問題は、一般的な単語を含めたり、参照の大部分をコピーしたりすることでROUGEスコアが膨張する可能性があることである。研究者は、トランスフォーマーモデルからの文脈埋め込みを使用して意味的類似性を測定するBERTScoreなどの変種や代替案を提案している。しかし、ROUGEはその単純さ、解釈可能性、低い計算コストのために人気を維持している。

大規模言語モデルの時代において、ROUGEは依然としてベースライン指標として使用されているが、人間による評価や他の自動指標で補完されることが多い。この指標の再現性への焦点は、ニュース要約など完全性が重要なタスクに特に適しているが、創造的またはオープンエンドな生成にはあまり適していない。