DuoRCは、2018年にインド工科大学マドラス校（IIT Madras）とカーネギーメロン大学の研究者らによって導入された大規模な読解データセットである。このデータセットには、WikipediaとIMDbから取得した7,680件の映画プロット要約から生成された186,089組の質問と回答のペアが含まれている。単文や短い段落の文脈に依存する初期の多くのデータセットとは異なり、DuoRCは長く複数段落にわたる物語に焦点を当てており、モデルが複数の文や出来事にわたって情報を統合することを要求する。
このデータセットは、2段階のプロセスで構築された。まず、Amazon Mechanical Turkのワーカーが、通常は中立的でネタバレを含まないWikipediaのプロット要約に基づいて質問を作成した。次に、別のワーカーグループが、より詳細でしばしばネタバレを含むIMDbの対応するプロット要約を使用して、それらの質問に回答した。質問生成の文脈と回答発見の文脈との間のこの意図的な不一致により、モデルは単純な語彙の一致ではなく、より深い理解に依存せざるを得なくなる。なぜなら、回答は質問作成に使用されたソースにそのままの形で存在しない可能性があるからである。
構築とアノテーション
DuoRCの各映画には、Wikipedia（平均約1,000語）とIMDb（平均約2,000語）の2つの異なるプロット要約がある。アノテーションプロセスには、単文で回答できる質問の除外や、回答がIMDb要約に存在するテキストのスパンであることの確認など、複数の品質管理ステップが含まれていた。最終データセットには、トレーニング分割用に96,311件の質問、検証用に12,792件、テスト用に76,986件が含まれており、合計186,089組の質問と回答のペアがある。
DuoRCの質問は主に「何」「誰」「なぜ」「どのように」のタイプであり、かなりの割合が複数文にわたる推論を必要とする。例えば、あるキャラクターがなぜ特定の行動をとったのかを問う質問があり、その回答には3つまたは4つの異なる段落からの情報が必要となる場合がある。これにより、DuoRCは、ほとんどの回答が単一の文または隣接する文内に位置するSQuADなどのデータセットとは区別される。
評価とベースライン
DuoRCは、標準的な読解指標であるExact Match（EM）とF1スコアを使用する。初公開時、著者らは伝統的な特徴ベースのシステムや初期のニューラルモデルを含む複数のベースラインモデルを評価した。当時の最良のベースラインは、約14%のEMスコアと約24%のF1スコアを達成し、78%のEMと86%のF1と推定される人間のパフォーマンスよりも大幅に低かった。この大きなギャップは、長文脈推論の難しさを浮き彫りにし、その後の研究を促進した。
その後のTransformer (architecture)ベースのモデル、例えば大規模言語モデルを用いた研究により、パフォーマンスは大幅に向上した。しかし、現代のシステムでさえ、特に段落間の推論や時間的推論を必要とするDuoRCの最も複雑な質問には苦戦している。このデータセットは、自然言語処理研究における長文書理解のベンチマークとして今もなお残っている。
他のデータセットとの関係
DuoRCは、既存の読解データセットを補完するように設計された。SQuAD（短いWikipedia記事を使用）やRACE（試験問題を使用）とは異なり、DuoRCはより長い文脈と独自の質問と回答の不一致を提供する。この設計上の選択により、モデルが単純なパターン一致を超えて一般化できるかどうかを研究するのに特に有用である。このデータセットは、マルチホップ推論、機械読解、質問応答システムに関する研究で使用されてきた。
作成者らはまた、DuoRC-Paraphraseと呼ばれるサブセットも公開した。これには、元の質問の言い換え版である質問が含まれており、研究者が言語的変動に対する頑健性をテストできるようにしている。このサブセットは、質問の言い回しの表面的な変化に対するモデルの感度を評価するために使用されてきた。
影響と限界
DuoRCは、人工知能コミュニティで長文脈理解の挑戦的なベンチマークとして広く引用されている。これは、書籍や映画のプロットも使用するNarrativeQAなどの後続データセットの設計に影響を与えた。しかし、DuoRCには限界がある。映画のプロット要約は著作権で保護された素材であり、再配布が制限されること、またデータセットは主に英語であり、言語横断的な研究が制限されることである。
もう一つの限界は、質問がクラウドワーカーによって生成されたため、バイアスや不整合が生じる可能性があることである。一部の質問には複数の有効な回答がある場合があり、スパンベースの回答形式はすべてのタイプの推論を捉えるわけではない。これらの問題にもかかわらず、DuoRCは長い物語テキストを処理するモデルを評価および改善するための貴重なリソースであり続けている。
今後の方向性
大規模言語モデルと生成AIの台頭に伴い、DuoRCはこれらのモデルが長文推論を処理できるかどうかをテストするために使用されてきた。最近の評価では、GPT-4やClaudeなどのモデルがはるかに高いスコアを達成できるが、最も難しい質問では人間のパフォーマンスには依然として及ばないことが示されている。研究者らは、幻覚や長い文章にわたるキャラクター関係の追跡の失敗など、現在のシステムの弱点を探るためにDuoRCを使い続けている。
このデータセットはまた、長いシーケンス向けに設計された新しいアテンションメカニズムやメモリ拡張ネットワークを開発するためのテストベッドとしても機能する。深層学習モデルが長い文脈を処理する際により効率的になるにつれて、DuoRCは物語の機械理解における進歩を測定するための標準的なベンチマークとして今後も残る可能性が高い。