Le corpus de paraphrase de Microsoft Research (MRPC) est un jeu de données de référence standard en traitement automatique des langues (TAL) pour la tâche de détection de paraphrase. Il se compose de 5 801 paires de phrases extraites automatiquement de milliers de sources d'actualités en ligne, chaque paire étant étiquetée comme sémantiquement équivalente (une paraphrase) ou non. Le corpus a été introduit par des chercheurs de Microsoft Research en 2005 et est depuis devenu un ensemble d'évaluation largement utilisé pour les modèles de apprentissage automatique, en particulier dans le développement d'architectures de réseaux de neurones pour la compréhension de phrases.
Le MRPC se distingue par son origine réelle : les paires de phrases ont été extraites d'articles de presse couvrant les mêmes événements, ce qui rend la tâche de détection de paraphrase difficile en raison de la variation naturelle dans le choix des mots, la syntaxe et les détails. Le jeu de données est divisé en un ensemble d'entraînement de 4 076 paires et un ensemble de test de 1 725 paires, avec des annotations humaines fournissant les étiquettes de vérité terrain. Au fil des ans, le MRPC a été intégré au benchmark plus large GLUE (General Language Understanding Evaluation), où il sert de tâche de classification de phrases uniques et de paires de phrases.
Construction du jeu de données et annotation
Le MRPC a été construit en collectant d'abord des articles de presse provenant de diverses sources en ligne, puis en utilisant une heuristique pour identifier des paires de phrases candidates susceptibles d'être des paraphrases. L'heuristique reposait sur la similarité du contexte environnant, comme le même événement décrit dans différents articles. Après cette génération automatique de candidats, des annotateurs humains ont étiqueté manuellement chaque paire comme « sémantiquement équivalente » ou « non équivalente ». Le processus d'annotation impliquait plusieurs juges, et les désaccords étaient résolus par discussion, garantissant une référence de haute qualité. Le jeu de données final contient une distribution à peu près équilibrée d'exemples positifs et négatifs, avec environ 67 % des paires étiquetées comme paraphrases.
L'article original décrivant le MRPC, intitulé « Automatic Evaluation of Paraphrase Quality » (2005), a également introduit une métrique automatique de la qualité de paraphrase basée sur le corpus. Cependant, le jeu de données lui-même est rapidement devenu plus influent en tant que ressource d'entraînement et de test pour les modèles supervisés. Sa taille modérée le rend adapté à l'entraînement de classificateurs classiques et de premiers modèles neuronaux, tout en offrant un défi significatif pour les systèmes modernes de apprentissage profond.
Rôle dans l'évaluation des modèles
Le MRPC est devenu un incontournable dans l'évaluation des modèles de classification de paires de phrases. Au début des années 2010, il a été utilisé pour tester les réseaux de neurones récurrents et les réseaux de neurones convolutifs pour la similarité sémantique. Plus tard, avec l'avènement des modèles basés sur transformers, le MRPC a été inclus dans le benchmark GLUE, qui a standardisé l'évaluation des modèles de langage généralistes. Par exemple, BERT (Bidirectional Encoder Representations from Transformers) a rapporté des résultats sur le MRPC dans le cadre de son score GLUE, et des modèles ultérieurs comme les grands modèles de langage de OpenAI, Anthropic et Google DeepMind ont été évalués sur les tâches GLUE, y compris le MRPC, pour démontrer leurs capacités de compréhension de phrases.
La tâche est formulée comme un problème de classification binaire : étant donné une paire de phrases, le modèle doit produire une étiquette indiquant si elles sont des paraphrases. La performance est généralement mesurée à l'aide de la précision et du score F1, le score F1 étant la métrique principale dans le classement GLUE. Les modèles de pointe ont atteint des scores F1 supérieurs à 90 %, tandis que la performance humaine est estimée autour de 85-90 %, ce qui indique que la tâche est presque saturée mais reste utile pour les tests de régression.
Influence sur la recherche sur la paraphrase
Au-delà de son utilisation comme benchmark, le MRPC a influencé la recherche sur la génération et la détection de paraphrases. Le jeu de données fournit un ensemble naturaliste de paires de paraphrases qui ont été utilisées pour entraîner des modèles séquence à séquence pour générer des paraphrases, ainsi que pour évaluer des méthodes non supervisées. Il a également été utilisé dans des études sur l'interprétabilité de l'intelligence artificielle, où les chercheurs analysent quelles caractéristiques linguistiques les modèles utilisent lorsqu'ils portent des jugements de paraphrase.
Une limitation du MRPC est sa taille relativement petite et son domaine étroit (texte d'actualité), ce qui peut conduire à un surajustement s'il est utilisé seul. Pour remédier à cela, les chercheurs combinent souvent le MRPC avec d'autres jeux de données de paraphrase, comme le jeu de données Quora Question Pairs, ou l'utilisent comme tâche d'ajustement fin dans des cadres d'apprentissage multitâche. Le corpus a également été critiqué pour contenir du bruit d'annotation, mais il reste une norme de facto en raison de sa longévité et de sa facilité d'utilisation.
Héritage et utilisation continue
Au milieu des années 2020, le MRPC continue d'être référencé dans des articles académiques et est inclus dans des bibliothèques NLP populaires telles que les Datasets de Hugging Face. Il est souvent utilisé comme test de cohérence pour de nouvelles architectures, aux côtés d'autres tâches GLUE comme SST-2 et QQP. Bien que des benchmarks plus récents comme SuperGLUE et MMLU aient émergé, la simplicité du MRPC et sa définition claire de la tâche en font un outil utile pour le débogage et pour l'enseignement de la détection de paraphrase. Le jeu de données est librement disponible à des fins de recherche, et sa création par microsoft-research a servi de modèle pour les efforts ultérieurs de construction de corpus dans le domaine.