微软研究释义语料库（MRPC）是自然语言处理（NLP）中用于释义检测任务的标准基准数据集。它包含5，801对从数千个在线新闻来源中自动提取的句子对，每对句子被标记为语义等价（即释义）或不等价。该语料库由微软研究院的研究人员于2005年提出，此后已成为机器学习模型广泛使用的评估集，尤其是在开发用于句子理解的神经网络架构方面。
MRPC因其真实世界来源而著称：这些句子对是从报道同一事件的新闻文章中采集的，这使得释义检测任务因措辞、句法和细节的自然变化而具有挑战性。该数据集被划分为包含4，076对的训练集和包含1，725对的测试集，人工标注提供真实标签。多年来，MRPC已被纳入更广泛的GLUE基准（通用语言理解评估），在其中作为单句和句子对分类任务。
数据集构建与标注
MRPC的构建首先从各种在线来源收集新闻文章，然后使用启发式方法识别可能为释义的候选句子对。该启发式方法依赖于周围上下文的相似性，例如不同文章中描述的同一事件。在自动生成候选后，人工标注者手动将每对标记为“语义等价”或“不等价”。标注过程涉及多位评判者，分歧通过讨论解决，确保了高质量的金标准。最终数据集包含大致平衡的正负样本分布，其中约67%的句子对被标记为释义。
描述MRPC的原始论文题为“释义质量的自动评估”（2005年），还基于该语料库引入了一种自动化的释义质量度量。然而，该数据集本身很快成为监督模型训练和测试的更具影响力的资源。其适中的规模使其适用于训练经典分类器和早期神经模型，同时仍为现代深度学习系统提供有意义的挑战。
在模型评估中的作用
MRPC成为句子对分类模型评估中的常用工具。在2010年代初期，它被用于测试循环神经网络和卷积神经网络的语义相似性。后来，随着基于Transformer的模型出现，MRPC被纳入GLUE基准，该基准标准化了通用语言模型的评估。例如，BERT（来自Transformers的双向编码器表示）报告了其在MRPC上的结果作为GLUE得分的一部分，后续模型如来自OpenAI、Anthropic和Google DeepMind的大型语言模型已在GLUE任务（包括MRPC）上接受评估，以展示其句子理解能力。
该任务被设定为二元分类问题：给定一对句子，模型必须输出指示它们是否为释义的标签。性能通常使用准确率和F1分数来衡量，其中F1分数是GLUE排行榜的主要指标。最先进的模型已实现超过90%的F1分数，而人类表现估计在85-90%左右，表明该任务已接近饱和，但仍可用于回归测试。
对释义研究的影响
除了作为基准之外，MRPC还影响了释义生成和检测的研究。该数据集提供了一组自然的释义对，已被用于训练序列到序列模型以生成释义，以及评估无监督方法。它还被用于人工智能可解释性研究，研究人员分析模型在做出释义判断时依赖哪些语言特征。
MRPC的一个局限性是其规模相对较小且领域狭窄（新闻文本），如果单独使用可能导致过拟合。为解决此问题，研究人员通常将MRPC与其他释义数据集（如Quora问题对数据集）结合使用，或将其作为多任务学习框架中的微调任务。该语料库也因包含标注噪声而受到批评，但由于其长期存在和易用性，它仍然是事实上的标准。
遗产与持续使用
截至2020年代中期，MRPC继续在学术论文中被引用，并包含在Hugging Face的Datasets等流行NLP库中。它通常与SST-2和QQP等其他GLUE任务一起用作新架构的健全性检查。虽然SuperGLUE和MMLU等更新基准已经出现，但MRPC的简单性和清晰的任务定义使其成为调试和教授释义检测的有用工具。该数据集可免费用于研究目的，其由微软研究院的创建已成为该领域后续语料库构建工作的典范。