ReCoRD（常識推論を伴う読解）は、人工知能システムの推論能力、特に自然言語理解の領域における能力を評価するためのベンチマークデータセットである。2018年にメリーランド大学とワシントン大学の研究者によって発表された。このデータセットは、単純な事実検索やパターンマッチングを超えて、読解中に常識推論を実行するモデルの能力を測定するように設計されている。
ReCoRDの中心的なタスクは、通常ニュース記事から取られた文章の一節を含み、そこでは特定のエンティティがマスクされている。モデルは、その節の他の場所に現れる候補エンティティのリストから、マスクされたエンティティを予測しなければならない。重要なのは、正解がしばしば文脈の理解、共参照の解決、そして明示的に述べられていない実世界の知識の適用を必要とすることである。例えば、ある節が人物と都市に言及し、マスクされたエンティティが場所である場合、モデルは物語に基づいてどの都市が関連するかを推測しなければならない。
ReCoRDには12万以上の例が含まれており、トレーニングセット、検証セット、テストセットに分割されている。節はニュース記事から取得され、クエリは固有表現をマスクすることによって生成される。このデータセットは、正解が常に候補エンティティの1つであり、それらはすべて節に言及されていることを強調しており、制約された解答空間を持つ穴埋めスタイルのタスクとなっている。この設計により、モデルは外部の知識ベースに頼るのではなく、エンティティ間の関係と記述されたイベントについて推論することを強いられる。
構築と設計
ReCoRDデータセットは、2段階のプロセスを使用して構築された。まず、さまざまなソースからニュース記事が収集され、標準的な固有表現認識器を使用して固有表現が識別された。次に、各記事について、1つのエンティティをランダムにマスクし、同じ記事に現れる候補エンティティのリストを提供することによって、一連のクエリが作成された。候補には正解と、同じ記事からの他のエンティティであるいくつかの妨害要素が含まれる。これにより、モデルが最も頻繁なエンティティを単に選択したり、表面的な統計に依存したりすることができないことが保証される。
ReCoRDの注目すべき特徴は、常識推論への重点である。クエリは、正解が局所的な文脈によって自明に決定されないように設計されている。代わりに、モデルは複数の文にわたって情報を統合し、暗黙の関係を推測しなければならない。例えば、ある節が特定の分野で賞を受賞した人物を記述している場合、モデルはその賞が通常その分野に関連付けられていることを知らなければならず、これは常識的な知識である。
データセットは、101,249のトレーニング例、6,353の検証例、および10,000のテスト例に分割された。テストセットは保留され、モデルは提出システムを通じて評価される。主要な評価指標は完全一致精度であり、モデルが予測したエンティティが正解と完全に一致する必要がある。
評価と性能
ReCoRDは、自然言語処理の分野における標準的なベンチマークとなっている。リカレントニューラルネットワークや初期のトランスフォーマーアーキテクチャに基づく初期のモデルは、検証セットで60〜70%の範囲の精度を達成した。BERTやその後継モデルなどの大規模な事前学習済み言語モデルの導入により、性能は大幅に向上し、2020年までに一部のモデルは90%を超える精度を達成した。
しかし、最先端のモデルでさえ、時間的推論、空間的推論、または微妙な社会的慣習を含むものなど、深い常識推論を必要とする特定のタイプのクエリには依然として苦労している。これにより、ReCoRDは現在のAIシステムの限界を診断するための貴重なツールとなっている。このベンチマークは、モデルサイズ、トレーニングデータ、およびアーキテクチャの選択が推論能力に与える影響を研究するためにも使用されてきた。
他のベンチマークとの関係
ReCoRDは、SQuAD、RACE、DROPを含むより広い読解ベンチマークファミリーの一部である。テキストから解答スパンを抽出することに焦点を当てたSQuADとは異なり、ReCoRDはエンティティのセットから選択することを要求し、多肢選択の穴埋めタスクとなっている。英語の試験に基づくRACEと比較して、ReCoRDのニュースドメインは、より多様で形式化されていない文脈を提供する。一方、DROPは数値推論を必要とするが、ReCoRDは常識推論を強調する。
ReCoRDは、モデルの能力の包括的な評価を提供するために、他のベンチマークと併用されることが多い。これは、自然言語の理解におけるArtificial intelligenceとMachine learning技術の統合をテストするために特に重要である。このベンチマークは、Google DeepMind、OpenAI、Anthropicを含む主要機関の研究グループによって、モデル評価スイートの一部として採用されている。
影響と将来の方向性
ReCoRDの導入は、AIにおける常識推論へのさらなる研究を促進した。それは、パターン認識と真の理解との間のギャップを浮き彫りにし、日常的な状況について推論できるモデルを開発する取り組みを促した。CommonsenseQAやSocial IQAなどの後続のベンチマークは、ReCoRDから学んだ教訓に基づいて構築され、より明示的な常識知識に焦点を当てている。
ReCoRDの1つの制限は、候補エンティティがすべて同じ節からのものであり、モデルが統計的な手がかりを悪用することを学習した場合、タスクが時々簡単になる可能性があることである。研究者は、外部知識を導入したり、マルチホップ推論を必要としたりする変種を提案している。これらの課題にもかかわらず、ReCoRDは広く引用され使用されているベンチマークであり続け、より堅牢で解釈可能なAIシステムの開発に情報を提供し続けている。
2020年代初頭の時点で、ReCoRDは依然として関連するベンチマークと見なされているが、新しいモデルはしばしばほぼ完璧なスコアを達成する。その遺産は、自然言語理解における常識推論の重要性を示し、この分野の進歩を測定するための具体的なタスクを提供したことにある。