O Microsoft Research Paraphrase Corpus (MRPC) é um conjunto de dados de referência padrão em processamento de linguagem natural (PLN) para a tarefa de detecção de paráfrases. Ele consiste em 5.801 pares de frases extraídos automaticamente de milhares de fontes de notícias online, com cada par rotulado como semanticamente equivalente (uma paráfrase) ou não. O corpus foi introduzido por pesquisadores da Microsoft Research em 2005 e, desde então, tornou-se um conjunto de avaliação amplamente utilizado para modelos de aprendizado de máquina, particularmente no desenvolvimento de arquiteturas de redes neurais para compreensão de frases.
O MRPC é notável por sua origem no mundo real: os pares de frases foram coletados de artigos de notícias que cobriam os mesmos eventos, tornando a tarefa de detecção de paráfrases desafiadora devido à variação natural na redação, sintaxe e detalhes. O conjunto de dados é dividido em um conjunto de treinamento com 4.076 pares e um conjunto de teste com 1.725 pares, com anotações humanas fornecendo os rótulos de referência. Ao longo dos anos, o MRPC foi incorporado ao benchmark mais amplo GLUE (General Language Understanding Evaluation), onde serve como uma tarefa de classificação de frase única e de pares de frases.
Construção e Anotação do Conjunto de Dados
O MRPC foi construído primeiro coletando artigos de notícias de várias fontes online e, em seguida, usando uma heurística para identificar pares de frases candidatos que poderiam ser paráfrases. A heurística baseava-se na similaridade do contexto circundante, como o mesmo evento sendo descrito em artigos diferentes. Após essa geração automática de candidatos, anotadores humanos rotularam manualmente cada par como "semanticamente equivalente" ou "não equivalente". O processo de anotação envolveu múltiplos juízes, e divergências foram resolvidas por meio de discussão, garantindo um padrão ouro de alta qualidade. O conjunto de dados final contém uma distribuição aproximadamente equilibrada de exemplos positivos e negativos, com cerca de 67% dos pares rotulados como paráfrases.
O artigo original que descreve o MRPC, intitulado "Automatic Evaluation of Paraphrase Quality" (2005), também introduziu uma métrica automática para qualidade de paráfrase baseada no corpus. No entanto, o conjunto de dados em si rapidamente se tornou mais influente como um recurso de treinamento e teste para modelos supervisionados. Seu tamanho moderado torna viável o treinamento de classificadores clássicos e modelos neurais iniciais, ao mesmo tempo em que ainda oferece um desafio significativo para sistemas modernos de aprendizado profundo.
Papel na Avaliação de Modelos
O MRPC tornou-se um elemento básico na avaliação de modelos de classificação de pares de frases. No início dos anos 2010, foi usado para testar redes neurais recorrentes e redes neurais convolucionais para similaridade semântica. Mais tarde, com o advento dos modelos baseados em transformadores, o MRPC foi incluído no benchmark GLUE, que padronizou a avaliação de modelos de linguagem de propósito geral. Por exemplo, BERT (Bidirectional Encoder Representations from Transformers) relatou resultados no MRPC como parte de sua pontuação GLUE, e modelos subsequentes, como modelos de linguagem de grande porte da OpenAI, Anthropic e Google DeepMind, foram avaliados em tarefas GLUE, incluindo MRPC, para demonstrar suas capacidades de compreensão de frases.
A tarefa é formulada como um problema de classificação binária: dado um par de frases, o modelo deve gerar um rótulo indicando se elas são paráfrases. O desempenho é tipicamente medido usando acurácia e pontuação F1, com a pontuação F1 sendo a métrica principal no ranking do GLUE. Modelos de última geração alcançaram pontuações F1 acima de 90%, enquanto o desempenho humano é estimado em torno de 85-90%, indicando que a tarefa está quase saturada, mas ainda é útil para testes de regressão.
Influência na Pesquisa sobre Paráfrases
Além de seu uso como benchmark, o MRPC influenciou a pesquisa sobre geração e detecção de paráfrases. O conjunto de dados fornece um conjunto naturalista de pares de paráfrases que foram usados para treinar modelos sequência-a-sequência para gerar paráfrases, bem como para avaliar métodos não supervisionados. Também foi usado em estudos de interpretabilidade de inteligência artificial, onde pesquisadores analisam quais características linguísticas os modelos utilizam ao fazer julgamentos de paráfrase.
Uma limitação do MRPC é seu tamanho relativamente pequeno e domínio estreito (texto de notícias), o que pode levar a overfitting se usado isoladamente. Para abordar isso, pesquisadores frequentemente combinam o MRPC com outros conjuntos de dados de paráfrase, como o Quora Question Pairs, ou o usam como uma tarefa de ajuste fino dentro de estruturas de aprendizado multitarefa. O corpus também foi criticado por conter ruído de anotação, mas permanece um padrão de fato devido à sua longevidade e facilidade de uso.
Legado e Uso Contínuo
Em meados da década de 2020, o MRPC continua sendo referenciado em artigos acadêmicos e está incluído em bibliotecas populares de PLN, como o Datasets da Hugging Face. É frequentemente usado como um teste de sanidade para novas arquiteturas, juntamente com outras tarefas GLUE, como SST-2 e QQP. Embora benchmarks mais novos, como SuperGLUE e MMLU, tenham surgido, a simplicidade e a definição clara de tarefa do MRPC o tornam uma ferramenta útil para depuração e para ensinar detecção de paráfrases. O conjunto de dados está disponível gratuitamente para fins de pesquisa, e sua criação pela microsoft-research tem sido um modelo para esforços subsequentes de construção de corpus no campo.