RACE (ReAding Comprehension from Examinations) est un ensemble de données de référence pour évaluer les capacités de compréhension de lecture et de raisonnement des systèmes d'intelligence artificielle. Il a été introduit en 2017 par des chercheurs de l'Université Carnegie Mellon et de Microsoft Research, et il se compose de plus de 100 000 questions à choix multiples provenant d'examens de langue anglaise administrés à des collégiens et lycéens chinois. Cet ensemble de données est remarquable pour son accent sur les passages longs, les types de questions complexes et l'exigence d'inférences profondes au-delà de la simple correspondance de texte.
Contrairement aux ensembles de données de compréhension de lecture antérieurs qui reposaient souvent sur des passages courts ou des questions factuelles, RACE présente des questions qui exigent une gamme de compétences cognitives, notamment la capacité à déduire des informations implicites, à comprendre la structure narrative et à appliquer un raisonnement de sens commun. L'ensemble de données est divisé en deux sous-ensembles principaux : RACE-M (collège) et RACE-H (lycée), la partie lycée étant généralement considérée comme plus difficile en raison de passages plus longs et de questions plus abstraites.
Structure et composition
RACE contient 27 933 passages et 97 687 questions au total, répartis en ensembles d'entraînement, de développement et de test. Les passages sont tirés d'examens réels, chacun accompagné de plusieurs questions à choix multiples avec quatre options de réponse. La longueur moyenne des passages est d'environ 320 mots, ce qui est nettement plus long que de nombreux ensembles de données de compréhension de lecture contemporains. Cette longueur oblige les modèles à maintenir le contexte sur un texte étendu et à identifier des informations pertinentes réparties sur plusieurs paragraphes.
Les questions de RACE sont classées en plusieurs types, notamment celles qui testent le rappel factuel, l'inférence et le raisonnement sur l'intention de l'auteur ou les motivations des personnages. Une caractéristique notable est la présence de questions « pourquoi » et « comment », qui exigent souvent de synthétiser des informations provenant de différentes parties du passage.
Impact sur la recherche en IA
RACE est rapidement devenu une référence standard pour évaluer les modèles de compréhension de lecture. Lors de sa publication, les modèles de pointe atteignaient des taux de précision bien inférieurs à la performance humaine, estimée à environ 95 %. Les premiers modèles neuronaux, y compris ceux basés sur les réseaux de neurones et les transformeurs, peinaient à dépasser 60 % de précision sur l'ensemble de test. Cet écart a stimulé des recherches significatives sur de nouvelles architectures et techniques d'entraînement.
L'ensemble de données a joué un rôle dans le développement des grands modèles de langage et des systèmes d'IA générative. À mesure que les modèles gagnaient en échelle et étaient pré-entraînés sur des corpus massifs, leur performance sur RACE s'est considérablement améliorée. D'ici 2021, des modèles tels que OpenAI GPT-3 et les itérations ultérieures ont atteint une précision supérieure à 90 %, se rapprochant de la performance humaine. Ces progrès ont mis en évidence l'importance de l'échelle et du pré-entraînement pour aborder des tâches de raisonnement complexes.
Comparaison avec d'autres références
RACE est souvent comparé à d'autres ensembles de données de compréhension de lecture comme SQuAD (Stanford Question Answering Dataset) et CNN/Daily Mail. Contrairement à SQuAD, qui se concentre sur la réponse extractive où la réponse est un extrait de texte, RACE exige de sélectionner parmi des options prédéfinies et implique souvent des questions qui ne peuvent pas être résolues par une simple recherche de texte. Cela fait de RACE un test plus exigeant de compréhension et de raisonnement authentiques.
La conception de l'ensemble de données a également influencé des références ultérieures, comme le RACE-C plus difficile et d'autres ensembles de données adverses visant à exposer les faiblesses du raisonnement des modèles. Les chercheurs ont utilisé RACE pour étudier des phénomènes comme la surconfiance des modèles et la tendance à s'appuyer sur des indices superficiels plutôt que sur une compréhension profonde.
Limites et critiques
Malgré son utilisation répandue, RACE présente des limites. Certains chercheurs ont noté que les questions de l'ensemble de données, bien que dérivées d'examens réels, peuvent contenir des biais ou des ambiguïtés qui les rendent moins adaptées à l'évaluation du raisonnement général. Par exemple, certaines questions reposent sur des connaissances culturelles spécifiques aux contextes éducatifs chinois, ce qui peut désavantager les modèles principalement entraînés sur des textes anglais. De plus, le format à choix multiples peut permettre aux modèles d'exploiter des régularités statistiques dans les options de réponse, comme le biais de position ou les heuristiques de longueur.
Les efforts pour remédier à ces problèmes ont conduit à la création de versions modifiées de l'ensemble de données, comme RACE-C, qui ajoute des questions plus difficiles et réduit l'impact des indices superficiels. Ces variantes continuent d'être utilisées dans la recherche sur la compréhension de lecture robuste.
Héritage et utilisation continue
RACE reste une référence largement citée dans le domaine de l'intelligence artificielle et de l'apprentissage automatique. Il est inclus dans de nombreuses suites d'évaluation de modèles, comme les références GLUE et SuperGLUE, et est utilisé par de grandes organisations de recherche, notamment Google DeepMind et Anthropic, pour évaluer les capacités de raisonnement de leurs modèles. La longévité de cet ensemble de données témoigne de sa conception, qui a anticipé de nombreux défis devenus centraux dans la recherche en IA, comme la compréhension de contextes longs et l'inférence en plusieurs étapes.
En 2025, RACE continue d'être utilisé dans la recherche académique et les évaluations industrielles, bien que des références plus récentes comme MMLU et BIG-bench l'aient partiellement supplanté pour évaluer les connaissances générales. Néanmoins, l'accent de RACE sur les questions de type examen en fait un outil précieux pour mesurer les progrès dans les applications éducatives de l'IA et les systèmes de tutorat automatisés.