SQuAD v2.0（スタンフォード質問応答データセットバージョン2.0）は、機械読解と質問応答のためのベンチマークデータセットである。元のSQuAD 1.1データセットを拡張し、大量の解答不能な質問を追加することで、モデルが正しい回答スパンを抽出するだけでなく、与えられた文脈から質問に答えられない場合を認識することを要求する。この設計は、モデルがテキストを真に理解せずに回答スパンを推測することで高いスコアを達成できた、初期のデータセットの重要な限界に対処するものである。
このデータセットは、2018年6月にスタンフォード大学のチーム（Pranav Rajpurkar、Robin Jia、Percy Liangが主導）によって導入された。SQuAD 1.1で使用された同じウィキペディア記事群から派生した、10万件の解答可能な質問と5万件の解答不能な質問で構成される。解答不能な質問は、記事のテキストによって実際には裏付けられていないもっともらしい質問を言い換える人間のアノテーターによって作成され、解答可能な質問と区別するのが困難になっている。
動機と設計
SQuAD v2.0の主な動機は、読解システムにおける「過信」の問題に対処することであった。SQuAD 1.1では、すべての質問に文脈内で保証された回答スパンがあったため、モデルはたとえ不正確でも常に何かを抽出するように訓練できた。これにより、ベンチマークでは良好な性能を示す一方で、質問に答えがないことが多い実世界のアプリケーションでは失敗するシステムが生まれた。解答不能な質問を導入することで、SQuAD v2.0はモデルに、スパンを抽出する前に解答可能性を判断するという、より堅牢なスキルを学習させることを強制する。
構築プロセスでは、クラウドワーカーがまず段落に基づいて解答可能な質問を書き、その後、エンティティ、数値、関係を変更することで、もっともらしいが解答不能な追加の質問を書いた。これにより、解答不能な質問が解答可能な質問と意味的に類似し、タスクが真に困難になることが保証される。
評価指標
SQuAD v2.0は、Exact Match（EM）とF1スコアの2つの主要な指標を使用する。ただし、SQuAD 1.1とは異なり、スコアリングは解答不能な質問を特別に扱う。解答不能な質問では、モデルが「回答なし」（空のスパン）を予測した場合に完全なクレジット（EM=1、F1=1）が与えられる。空でないスパンを予測した場合、両方の指標でゼロになる。解答可能な質問では、標準のスパンレベルEMとF1が計算される。全体スコアは全質問の平均であり、解答可能なインスタンスと解答不能なインスタンスに等しい重みを与える。
このスコアリング方式は、モデルに保守的であることを促す。つまり、解答可能な質問への回答の精度と、解答不能な質問に誤って回答するリスクとのバランスを取る必要がある。常に回答を推測するモデルは解答不能な半分でほぼゼロのスコアになり、常に棄権するモデルは解答可能な半分でゼロのスコアになる。
研究への影響
SQuAD v2.0は、前身と並んでNLPコミュニティの標準ベンチマークとしてすぐに確立された。これは、解答可能性予測を明示的なコンポーネントとして組み込む、より洗練されたモデルの開発を推進した。トランスフォーマーに基づくものなど、多くの初期の深層学習アプローチがこのデータセットで評価され、急速な改善につながった。
このデータセットは、Natural QuestionsやTriviaQAのような、自然に解答不能な質問を含む後のベンチマークの設計にも影響を与えた。これは、質問応答におけるキャリブレーションと棄権の重要性を浮き彫りにし、現代の大規模言語モデルにおいても関連性が高いテーマである。
リーダーボードと最先端技術
リリース時点で、最良のモデルはEMスコア約60〜65%を達成し、SQuAD 1.1の80%以上のスコアよりも大幅に低く、追加された難しさを反映していた。時間の経過とともに、モデルは大幅に改善された。2019年までに、BERTとその変種を使用するシステムはEMスコア80%以上に達した。2023年時点で、公式リーダーボードの上位エントリは、多くの場合アンサンブル手法と外部知識を使用して、EMスコア90%以上を達成している。
これらの高いスコアにもかかわらず、研究者はSQuAD v2.0にはウィキペディアへの依存や、解答不能な質問が人工的に構築されているという事実など、依然として限界があると指摘している。それでも、読解の堅牢性を評価するための貴重なツールであり続けている。
関連研究と拡張
SQuAD v2.0は、いくつかの後続データセットとタスクに影響を与えた。例えば、squad-shiftは一般化をテストするための分布シフトを導入し、他の研究では敵対的摂動を探求している。解答可能性の概念は、Google CloudやAmazon Web Servicesなどの企業が本番環境で使用するものを含む、多くの質問応答システムに組み込まれている。
このデータセットは研究用に自由に利用可能であり、公式SQuADウェブサイトで評価スクリプトと公開リーダーボードとともにホストされている。これは、機械読解の分野で新しいアーキテクチャと訓練技術を比較するための参照点であり続けている。