Microsoft Research Paraphrase Corpus（MRPC）は、自然言語処理（NLP）における言い換え検出タスクの標準的なベンチマークデータセットです。このコーパスは、数千のオンラインニュースソースから自動的に抽出された5,801の文ペアで構成され、各ペアは意味的に等価（言い換え）か否かのラベルが付けられています。このコーパスは2005年にMicrosoft Researchの研究者によって導入され、以来、機械学習モデル、特に文理解のためのニューラルネットワークアーキテクチャの開発において広く使用される評価セットとなっています。
MRPCはその実世界由来の性質で注目されています。文ペアは同じ出来事を扱うニュース記事から収集されており、表現、構文、詳細の自然な変動により、言い換え検出タスクは困難なものとなっています。データセットはトレーニングセット（4,076ペア）とテストセット（1,725ペア）に分割され、人間のアノテーションが正解ラベルを提供しています。長年にわたり、MRPCはより広範なGLUEベンチマーク（General Language Understanding Evaluation）に組み込まれ、単文および文ペア分類タスクとして機能しています。
データセットの構築とアノテーション
MRPCは、まず多様なオンラインソースからニュース記事を収集し、次にヒューリスティックを用いて言い換えの可能性がある候補文ペアを特定することで構築されました。このヒューリスティックは、周囲の文脈の類似性（例えば、異なる記事で同じ出来事が記述されていること）に依存していました。自動的な候補生成の後、人間のアノテーターが各ペアを「意味的に等価」または「非等価」のいずれかに手動でラベル付けしました。アノテーションプロセスには複数の判定者が関与し、不一致は議論を通じて解決され、高品質なゴールドスタンダードが確保されました。最終データセットには、約67%のペアが言い換えとしてラベル付けされ、正例と負例がほぼバランスよく分布しています。
MRPCを説明する元の論文「Automatic Evaluation of Paraphrase Quality」（2005年）は、このコーパスに基づく言い換え品質の自動評価指標も導入しました。しかし、データセット自体は、教師ありモデルのトレーニングおよびテストリソースとして急速に影響力を持つようになりました。その中程度のサイズは、古典的な分類器や初期のニューラルモデルのトレーニングを可能にしつつ、現代の深層学習システムにとって有意義な課題を提供しています。
モデル評価における役割
MRPCは文ペア分類モデルの評価における定番となりました。2010年代初頭には、リカレントニューラルネットワークや畳み込みニューラルネットワークの意味的類似性テストに使用されました。その後、トランスフォーマーベースのモデルの登場に伴い、MRPCはGLUEベンチマークに含まれ、汎用言語モデルの評価を標準化しました。例えば、BERT（Bidirectional Encoder Representations from Transformers）はGLUEスコアの一部としてMRPCの結果を報告し、その後のOpenAI、Anthropic、Google DeepMindなどの大規模言語モデルは、文理解能力を示すためにMRPCを含むGLUEタスクで評価されています。
このタスクは二値分類問題として構成されています。文のペアが与えられたとき、モデルはそれらが言い換えであるかどうかを示すラベルを出力する必要があります。性能は通常、精度とF1スコアで測定され、F1スコアがGLUEリーダーボードの主要指標となっています。最先端モデルはF1スコア90%以上を達成しており、人間の性能は約85〜90%と推定されているため、このタスクはほぼ飽和状態ですが、回帰テストには依然として有用です。
言い換え研究への影響
ベンチマークとしての使用に加えて、MRPCは言い換え生成および検出の研究に影響を与えてきました。このデータセットは、シーケンス間モデルをトレーニングして言い換えを生成するために使用された自然主義的な言い換えペアを提供し、教師なし手法の評価にも使用されています。また、人工知能の解釈可能性研究でも使用され、研究者はモデルが言い換え判断を行う際に依存する言語的特徴を分析しています。
MRPCの限界の一つは、その比較的小さなサイズと狭いドメイン（ニューステキスト）であり、単独で使用すると過学習を引き起こす可能性があります。これに対処するため、研究者はMRPCをQuora Question Pairsデータセットなどの他の言い換えデータセットと組み合わせたり、マルチタスク学習フレームワーク内のファインチューニングタスクとして使用したりすることがよくあります。このコーパスはアノテーションノイズを含むと批判されることもありますが、その長寿命性と使いやすさから、事実上の標準として残っています。
遺産と継続的使用
2020年代半ば現在、MRPCは学術論文で引き続き参照され、Hugging FaceのDatasetsなどの一般的なNLPライブラリに含まれています。これは、SST-2やQQPなどの他のGLUEタスクと並んで、新しいアーキテクチャの健全性チェックとしてよく使用されます。SuperGLUEやMMLUなどの新しいベンチマークが登場していますが、MRPCの単純さと明確なタスク定義は、デバッグや言い換え検出の教育に有用なツールとなっています。このデータセットは研究目的で自由に利用でき、microsoft-researchによるその作成は、この分野のその後のコーパス構築努力のモデルとなっています。