RACE（ReAding Comprehension from Examinations）は、人工知能システムの読解力と推論能力を評価するためのベンチマークデータセットである。2017年にカーネギーメロン大学とマイクロソフトリサーチの研究者によって導入され、中国の中学生および高校生を対象に実施された英語試験から収集された10万件以上の多肢選択問題で構成されている。このデータセットは、長文のパッセージ、複雑な問題タイプ、単純なテキスト照合を超えた深い推論の必要性に重点を置いている点で注目に値する。
短いパッセージや事実に基づく質問に依存することが多かった初期の読解データセットとは異なり、RACEは暗黙的情報の推論、物語構造の理解、常識的推論の適用など、さまざまな認知スキルを要求する問題を提示する。データセットはRACE-M（中学校）とRACE-H（高校）の2つの主要なサブセットに分かれており、高校部分はパッセージが長く、質問がより抽象的であるため、一般的により困難と見なされている。
構造と構成
RACEには合計27,933のパッセージと97,687の質問が含まれており、トレーニングセット、開発セット、テストセットに分割されている。パッセージは実際の試験から抽出され、各パッセージには4つの回答選択肢を持つ複数の多肢選択問題が付随している。平均パッセージ長は約320語であり、これは当時の多くの読解ベンチマークよりも大幅に長い。この長さは、モデルが長いテキストにわたって文脈を維持し、複数の段落に散在する関連情報を特定することを要求する。
RACEの質問は、事実の想起、推論、著者の意図や登場人物の動機に関する推論を試すものを含むいくつかのタイプに分類される。特筆すべき特徴は、「なぜ」や「どのように」という質問の存在であり、これらはしばしばパッセージの異なる部分からの情報を統合することを必要とする。
AI研究への影響
RACEはすぐに読解モデルを評価するための標準的なベンチマークとなった。リリース当時、最先端のモデルは約95%と推定される人間のパフォーマンスを大幅に下回る精度を達成していた。ニューラルネットワークやトランスフォーマーに基づく初期のニューラルモデルは、テストセットで60%を超える精度を達成するのに苦労した。このギャップは、新しいアーキテクチャとトレーニング技術の研究を大きく促進した。
このデータセットは、大規模言語モデルや生成AIシステムの開発において役割を果たした。モデルが規模を拡大し、大規模なコーパスで事前学習されるにつれて、RACEでのパフォーマンスは劇的に向上した。2021年までに、OpenAIのGPT-3などのモデルとその後の反復は90%以上の精度を達成し、人間レベルのパフォーマンスに近づいた。この進歩は、複雑な推論タスクに取り組む上での規模と事前学習の重要性を浮き彫りにした。
他のベンチマークとの比較
RACEは、SQuAD（Stanford Question Answering Dataset）やCNN/Daily Mailなどの他の読解データセットとしばしば比較される。答えがテキストの一部である抽出型質問応答に焦点を当てたSQuADとは異なり、RACEは事前に定義された選択肢から選択することを要求し、単純なテキスト検索では答えられない質問をしばしば含む。これにより、RACEは真の理解と推論のより厳しいテストとなっている。
データセットの設計は、より挑戦的なRACE-Cや、モデルの推論の弱点を露呈させることを目的とした他の敵対的データセットなど、その後のベンチマークにも影響を与えた。研究者はRACEを使用して、モデルの過信や、深い理解ではなく表面的な手がかりに依存する傾向などの現象を研究してきた。
制限と批判
広く使用されているにもかかわらず、RACEには制限がある。一部の研究者は、実際の試験から派生したデータセットの質問には、一般的な推論を評価するのに適さないバイアスや曖昧さが含まれる可能性があると指摘している。例えば、一部の質問は中国の教育文脈に固有の文化的知識に依存しており、主に英語のテキストで訓練されたモデルにとって不利になる可能性がある。さらに、多肢選択形式により、モデルが位置バイアスや長さのヒューリスティックなど、回答選択肢の統計的規則性を悪用できる可能性がある。
これらの問題に対処する取り組みにより、より挑戦的な質問を追加し、表面的な手がかりの影響を減らすRACE-Cなど、データセットの修正版が作成された。これらの変種は、堅牢な読解に関する研究で引き続き使用されている。
遺産と継続的な使用
RACEは、人工知能と機械学習の分野で広く引用されるベンチマークであり続けている。GLUEやSuperGLUEなどの多くのモデル評価スイートに含まれており、Google DeepMindやAnthropicを含む主要な研究機関がモデルの推論能力を評価するために使用している。データセットの長寿命は、長文コンテキストの理解や多段階推論など、後にAI研究の中心となる多くの課題を予見した設計の証である。
2025年現在、RACEは学術研究や業界評価で引き続き使用されているが、MMLUやBIG-benchなどの新しいベンチマークが一般的な知識の評価において部分的に取って代わっている。それにもかかわらず、RACEの試験形式の質問への焦点は、教育AIアプリケーションや自動チュータリングシステムの進歩を測定するための貴重なツールとなっている。