ROUGE(Recall-Oriented Understudy for Gisting Evaluation)는 자연어 처리에서 자동 요약 및 기계 번역 소프트웨어를 평가하는 데 사용되는 지표 세트이자 소프트웨어 패키지입니다. 이 지표는 자동으로 생성된 요약 또는 번역을 참조(인간이 생성한) 요약 또는 번역 하나 또는 여러 개와 비교합니다. ROUGE 지표는 0에서 1 사이의 값을 가지며, 점수가 높을수록 자동 생성된 요약과 참조 간의 유사성이 높음을 나타냅니다.
ROUGE는 2000년대 초반에 텍스트 요약 분야에서 자동 평가에 대한 필요성이 증가함에 따라 도입되었으며, 이 분야는 이전에는 인간의 판단에 크게 의존했습니다. 이는 연구 커뮤니티에서 표준 도구가 되었으며, 특히 미국 국립표준기술연구소(NIST)가 주최하는 문서 이해 회의(DUC)와 이후 텍스트 분석 회의(TAC)에서 채택된 이후 더욱 그러합니다. 이름 자체는 기계 번역 평가에 사용되는 BLEU 지표에 대한 장난스러운 참조입니다. BLEU는 Bilingual Evaluation Understudy를 의미하며, ROUGE는 'B'를 'R'로 바꾸어 재현율 중심 평가를 강조합니다.
ROUGE의 핵심 아이디어는 후보 텍스트와 하나 이상의 참조 텍스트 간의 어휘 단위 중복을 측정하는 것입니다. 이 중복은 일반적으로 n-gram(연속된 n개 단어 시퀀스) 또는 최장 공통 부분 수열과 같은 다른 구조적 패턴을 사용하여 계산됩니다. 재현율에 초점을 맞춤으로써 ROUGE는 시스템 출력이 참조 콘텐츠를 얼마나 많이 포착하는지 평가하며, 이는 소스의 핵심 정보를 포함하는 것이 목표인 요약에서 특히 관련이 있습니다.
ROUGE-N
ROUGE-N은 가장 기본적인 변형으로, 시스템 요약과 참조 요약 간의 n-gram 중복을 측정합니다. 이 지표는 일치하는 n-gram 수를 참조의 총 n-gram 수로 나눈 값으로 계산됩니다. 예를 들어, ROUGE-1은 시스템 요약과 참조 요약 간의 유니그램(각 단어) 중복을 나타내고, ROUGE-2는 바이그램(연속된 단어 쌍) 중복을 나타냅니다.
ROUGE-1은 개별 단어의 존재를 포착하므로 콘텐츠 범위의 대리 지표로 자주 사용됩니다. 그러나 일반적인 단어를 많이 포함하여 점수를 올릴 수 있으므로, 단어 순서가 중요한 작업에서는 ROUGE-2가 자주 선호됩니다. 실제로 ROUGE-1과 ROUGE-2는 ROUGE-L과 함께 연구 논문에서 가장 일반적으로 보고되는 변형입니다.
ROUGE-N의 공식은 간단합니다. 주어진 n에 대해 점수는 시스템 요약과 참조 요약 모두에 나타나는 n-gram 수와 참조 요약의 n-gram 수의 비율입니다. 여러 참조가 사용되는 경우, 점수는 일반적으로 모든 참조에 대한 최대값 또는 특정 구현에 따라 평균값으로 계산됩니다.
ROUGE-L
ROUGE-L은 시스템 요약과 참조 요약 간의 최장 공통 부분 수열(LCS)을 사용합니다. LCS는 두 텍스트에서 동일한 순서로 나타나지만 반드시 연속적이지는 않은 가장 긴 단어 시퀀스입니다. 이 접근 방식은 자동으로 가장 긴 공동 발생 순차 n-gram을 식별하므로 문장 수준 구조 유사성을 자연스럽게 고려합니다.
정확한 n-gram 일치를 요구하는 ROUGE-N과 달리 ROUGE-L은 일치하는 단어 사이에 간격을 허용하므로 더 유연합니다. 이는 콘텐츠를 바꿔 말하면서도 아이디어의 전반적인 순서를 유지하는 요약을 평가하는 데 특히 유용합니다. LCS 기반 점수는 동적 프로그래밍 알고리즘을 사용하여 계산되며, 문장 수준 또는 요약 수준에서 적용할 수 있습니다.
ROUGE-L의 한계 중 하나는 연속 여부와 관계없이 모든 LCS 일치를 동일하게 취급한다는 점입니다. 이로 인해 흩어진 일치가 있는 요약이 몇 개의 연속 일치가 있는 요약보다 높은 점수를 받을 수 있으며, 후자가 더 일관성이 있더라도 그럴 수 있습니다. 이를 해결하기 위해 가중 변형인 ROUGE-W가 개발되었습니다.
ROUGE-W
ROUGE-W는 연속적인 LCS를 선호하는 가중 LCS 기반 통계입니다. 아이디어는 텍스트에서 연속적으로 나타나는 일치에 더 높은 가중치를 할당하는 것으로, 이러한 일치가 의미 있는 구 수준 중복을 반영할 가능성이 더 높기 때문입니다. 가중치는 비연속 일치에 대한 패널티를 조정하는 매개변수로 제어됩니다.
실제로 ROUGE-W는 ROUGE-L보다 덜 일반적으로 사용되지만, 평가자가 유창성이나 지역적 일관성을 강조하려는 시나리오에서 유용할 수 있습니다. 구현에는 가중치 매개변수의 신중한 조정이 필요하며, 이는 종종 특정 작업에 따라 경험적으로 설정됩니다.
가중 접근 방식은 참조 전체에 흩어진 단어를 일치시키는 시스템 요약이 제대로 구조화되지 않았음에도 높은 LCS 점수를 받을 수 있는 문제를 완화하는 데 도움이 됩니다. 연속성을 보상함으로써 ROUGE-W는 더 미묘한 유사성 측정을 제공합니다.
ROUGE-S 및 ROUGE-SU
ROUGE-S는 스킵 바이그램 기반 공동 발생 통계를 측정합니다. 스킵 바이그램은 문장 순서에서 두 단어 사이에 간격을 허용하는 모든 단어 쌍입니다. 이는 ROUGE-2와 유사하지만 바이그램이 연속적일 필요가 없으므로 더 유연합니다. 예를 들어, 'the cat sat on the mat' 문장에서 스킵 바이그램에는 'the cat', 'the sat', 'the on', 'cat sat' 등이 포함됩니다.
ROUGE-SU는 유니그램 기반 공동 발생 통계를 추가하여 ROUGE-S를 확장합니다. 이 조합을 통해 지표는 개별 단어 범위와 쌍 관계를 모두 포착할 수 있습니다. 'U'는 유니그램을 의미하며, 유니그램 포함은 시스템 요약이 높은 스킵 바이그램 중복을 가지지만 중요한 단일 단어를 놓치는 문제를 피하는 데 도움이 됩니다.
ROUGE-S와 ROUGE-SU는 모두 가능한 모든 스킵 바이그램을 열거해야 하므로 ROUGE-N보다 계산 집약적입니다. 그러나 텍스트 구조의 더 풍부한 표현을 제공하므로 다양한 표현을 사용하는 요약을 평가하는 데 적합합니다.
구현 및 사용
ROUGE 소프트웨어 패키지는 Perl로 구현되었으며 원래 남가주대학교 정보과학연구소의 Chin-Yew Lin이 개발했습니다. 패키지에는 다섯 가지 지표를 모두 계산하는 스크립트와 여러 참조 처리, 형태소 분석, 불용어 제거 옵션이 포함됩니다. Java 구현도 제공되며, 성능으로 인해 프로덕션 시스템에서 자주 사용됩니다.
ROUGE를 사용하려면 연구자는 일반적으로 여러 인간 주석자가 만든 다양한 유효한 요약을 포착한 참조 요약 세트를 준비합니다. 그런 다음 시스템 생성 요약을 각 참조와 비교하고, 최종 점수는 일반적으로 참조 간 최대값 또는 평균값입니다. 최대값과 평균값 선택은 평가 프로토콜에 따라 달라집니다. 예를 들어, DUC 작업은 가능한 참조 콘텐츠를 포착하는 것을 보상하기 위해 최대값을 자주 사용합니다.
ROUGE는 요약 연구에서 사실상의 표준이 되었으며, 대부분의 논문은 ROUGE-1, ROUGE-2, ROUGE-L 점수를 보고합니다. 또한 기계 번역 평가에서도 사용되지만, 정밀도에 초점을 맞춘 BLEU보다는 덜 두드러집니다. 이 지표는 Hugging Face의 evaluate 및 nlg-eval 패키지와 같은 라이브러리에 널리 구현되어 실무자가 쉽게 접근할 수 있습니다.
한계 및 비판
널리 사용됨에도 불구하고 ROUGE에는 몇 가지 알려진 한계가 있습니다. 순수하게 어휘 중복에 의존하므로 의미적 동등성을 포착할 수 없습니다. 예를 들어, 동의어나 바꿔 말하기를 사용하는 요약은 참조에서 정확한 구를 복사한 요약보다 점수가 낮을 수 있으며, 전자가 더 자연스러운 경우에도 그렇습니다. 이로 인해 ROUGE가 추출적 요약을 장려하고 추상적 접근 방식을 억제한다는 비판이 제기되었습니다.
또 다른 문제는 ROUGE 점수가 일반적인 단어를 포함하거나 참조의 큰 부분을 복사하여 부풀려질 수 있다는 점입니다. 연구자들은 트랜스포머 모델의 문맥 임베딩을 사용하여 의미적 유사성을 측정하는 BERTScore와 같은 변형 및 대안을 제안했습니다. 그러나 ROUGE는 단순성, 해석 가능성, 낮은 계산 비용으로 인해 여전히 인기가 있습니다.
대규모 언어 모델 시대에 ROUGE는 여전히 기준 지표로 사용되지만, 종종 인간 평가나 다른 자동 지표로 보완됩니다. 재현율에 초점을 맞춘 이 지표는 뉴스 요약과 같이 완전성이 중요한 작업에 특히 적합하지만, 창의적이거나 개방형 생성에는 덜 적합합니다.
같이 보기
ROUGE는 자연어 처리의 더 넓은 평가 지표 계열의 일부입니다. 관련 지표로는 기계 번역에서 정밀도를 측정하는 BLEU, 동의어 일치와 형태소 분석을 통합하는 METEOR가 있습니다. 정밀도와 재현율을 결합한 F-측정도 관련이 있으며, 가중 n-gram 일치가 있는 BLEU 변형인 NIST 지표도 관련이 있습니다. 다른 관련 개념으로는 명사구 청킹과 음성 인식에 사용되는 단어 오류율(WER)이 있습니다.
Machine learning 및 Deep learning 맥락에서 ROUGE는 Transformer (architecture) 아키텍처와 Large language model을 기반으로 하는 Neural network 기반 요약 시스템을 평가하는 데 자주 사용됩니다. 이 지표는 MIT CSAIL 및 Stanford AI Lab과 같은 기관의 연구에 적용되었으며, Generative AI 공간에서 핵심 도구로 남아 있습니다.