마이크로소프트 리서치 패러프레이즈 코퍼스(MRPC)는 자연어 처리(NLP) 분야에서 패러프레이즈 탐지 작업을 위한 표준 벤치마크 데이터셋이다. 이 코퍼스는 수천 개의 온라인 뉴스 소스에서 자동으로 추출된 5,801개의 문장 쌍으로 구성되며, 각 쌍은 의미적으로 동등한지(패러프레이즈인지) 여부에 따라 레이블이 지정된다. 이 코퍼스는 2005년 마이크로소프트 리서치의 연구자들에 의해 소개되었으며, 이후 문장 이해를 위한 머신러닝 모델, 특히 신경망 아키텍처 개발에 널리 사용되는 평가 세트가 되었다.
MRPC는 실제 데이터에서 비롯된 점이 특징이다. 문장 쌍은 동일한 사건을 보도하는 뉴스 기사에서 수집되었기 때문에, 패러프레이즈 탐지 작업은 표현, 구문, 세부 사항의 자연스러운 변이로 인해 도전적인 과제가 된다. 데이터셋은 4,076쌍의 훈련 세트와 1,725쌍의 테스트 세트로 분할되며, 인간 주석자가 정답 레이블을 제공한다. 수년에 걸쳐 MRPC는 GLUE 벤치마크(일반 언어 이해 평가)에 통합되어 단일 문장 및 문장 쌍 분류 작업 중 하나로 사용되고 있다.
데이터셋 구축 및 주석
MRPC는 먼저 다양한 온라인 소스에서 뉴스 기사를 수집한 다음, 휴리스틱을 사용하여 패러프레이즈 후보가 될 수 있는 문장 쌍을 식별하는 방식으로 구축되었다. 이 휴리스틱은 서로 다른 기사에서 동일한 사건을 설명하는 문장처럼 주변 맥락의 유사성에 의존했다. 자동 후보 생성 후, 인간 주석자들은 각 쌍을 "의미적으로 동등함" 또는 "동등하지 않음"으로 수동으로 레이블링했다. 주석 과정에는 여러 명의 평가자가 참여했으며, 의견이 일치하지 않는 경우 토론을 통해 해결함으로써 높은 품질의 정답 세트를 보장했다. 최종 데이터셋은 긍정 예시와 부정 예시가 대략 균형을 이루며, 약 67%의 쌍이 패러프레이즈로 레이블링되었다.
MRPC를 설명한 원래 논문인 "Automatic Evaluation of Paraphrase Quality"(2005)는 이 코퍼스를 기반으로 한 자동 평가 지표도 함께 소개했다. 그러나 데이터셋 자체는 지도 학습 모델의 훈련 및 평가 자원으로서 더 빠르게 영향력을 얻었다. MRPC의 적당한 규모 덕분에 초기 신경망 모델과 고전적 분류기를 훈련시키기에 적합했으며, 동시에 딥러닝 시스템에게 의미 있는 도전 과제를 제공했다.
모델 평가에서의 역할
MRPC는 문장 쌍 분류 모델 평가의 핵심 벤치마크가 되었다. 2010년대 초반에는 순환 신경망과 합성곱 신경망의 의미 유사성 성능을 테스트하는 데 사용되었다. 이후 트랜스포머 기반 모델이 등장하면서 MRPC는 GLUE 벤치마크에 포함되어 범용 언어 모델의 평가를 표준화하는 데 기여했다. 예를 들어, BERT(Bidirectional Encoder Representations from Transformers)는 GLUE 점수의 일부로 MRPC에서의 결과를 보고했으며, 이후 OpenAI, Anthropic, Google DeepMind의 대규모 언어 모델들도 문장 이해 능력을 입증하기 위해 MRPC를 포함한 GLUE 작업에서 평가를 받았다.
이 작업은 이진 분류 문제로 구성된다. 즉, 두 문장 쌍이 주어졌을 때 모델은 이들이 패러프레이즈인지 여부를 나타내는 레이블을 출력해야 한다. 성능은 일반적으로 정확도와 F1 점수로 측정되며, GLUE 리더보드에서는 F1 점수가 주요 지표로 사용된다. 최신 모델들은 F1 점수 90% 이상을 달성했으며, 인간의 성능은 약 85~90%로 추정된다. 이는 작업이 거의 포화 상태에 이르렀음을 시사하지만, 회귀 테스트와 모델 비교에는 여전히 유용하다.
패러프레이즈 연구에 미친 영향
벤치마크로서의 역할 외에도 MRPC는 패러프레이즈 생성 및 탐지 연구에 큰 영향을 미쳤다. 이 데이터셋은 자연스러운 패러프레이즈 쌍을 제공하여 시퀀스-투-시퀀스 모델을 훈련시키는 데 사용되었으며, 비지도 학습 방법의 평가에도 활용되었다. 또한 인공지능 해석 가능성 연구에서도 사용되어, 연구자들이 모델이 패러프레이즈 판단을 내릴 때 어떤 언어적 특징에 의존하는지 분석하는 데 기여했다.
MRPC의 한계로는 규모가 상대적으로 작고 뉴스 텍스트라는 좁은 도메인에 국한되어 있어, 단독으로 사용할 경우 과적합의 위험이 있다는 점이 지적된다. 이러한 문제를 해결하기 위해 연구자들은 Quora Question Pairs 데이터셋과 같은 다른 패러프레이즈 데이터셋과 결합하거나, 다중 작업 학습 프레임워크 내에서 미세 조정 작업으로 사용하는 경우가 많다. 또한 코퍼스에 주석 노이즈가 포함되어 있다는 비판도 있지만, 오랜 기간 동안 널리 사용되어 온 표준 데이터셋으로서의 지위는 여전히 유지되고 있다.
지속적인 사용과 유산
2020년대 중반 현재 MRPC는 학술 논문에서 계속 인용되고 있으며, Hugging Face의 Datasets 라이브러리와 같은 인기 있는 NLP 라이브러리에 포함되어 있다. SST-2 및 QQP와 같은 다른 GLUE 작업과 함께 새로운 아키텍처의 기본적인 성능 확인 도구로 자주 사용된다. SuperGLUE나 MMLU와 같은 최신 벤치마크가 등장했지만, MRPC는 단순하고 명확한 작업 정의 덕분에 모델 디버깅과 패러프레이즈 탐지 교육에 유용한 도구로 남아 있다. 이 데이터셋은 연구 목적으로 자유롭게 사용할 수 있으며, 마이크로소프트 리서치가 구축한 이 코퍼스는 이후 유사한 코퍼스 구축 노력의 모델이 되었다.