SQuAD 2.0（スタンフォード質問応答データセット、バージョン2.0）は、自然言語処理システムの読解能力を評価するために広く使用されるベンチマークです。2018年にスタンフォード大学の研究者らによって公開され、元のSQuAD 1.1データセットを基に、解答不能な質問という重要な課題を導入しています。SQuAD 2.0では、各段落に質問が対応付けられており、その一部はテキスト内に解答が存在しません。これにより、モデルは正しいスパンを抽出するだけでなく、質問が解答不能であることを認識する必要があります。この設計は、単純なパターンマッチングを超えて、情報の有無について推論するシステムの能力を直接的に試します。
このデータセットは、500以上のウィキペディア記事から派生した10万以上の質問と解答のペアで構成されています。具体的には、SQuAD 1.1から保持された約5万件の解答可能な質問と、クラウドワーカーによって敵対的に作成された追加の5万件の解答不能な質問が含まれます。これらの解答不能な質問は、解答可能な質問と似たスタイルで妥当性を持つように作成され、関連するが誤ったエンティティや事実を使用することが多く、タスクを大幅に困難にしています。SQuAD 2.0の評価指標は、モデルの予測解答が正解と完全に一致することを要求するExact Match（EM）スコアと、予測と正解の間のトークンの重なりを測定するF1スコアです。解答不能な質問については、モデルが「解答なし」（空のスパン）を予測した場合のみ得点が与えられます。
背景と動機
2016年に公開された元のSQuAD 1.1は、抽出型質問応答の事実上の標準となり、モデルは段落と質問が与えられ、解答として連続するテキストのスパンを選択する必要がありました。しかし、この設定には重大な制限がありました。すべての質問が提供された文脈に解答を持つことが保証されていたのです。これにより、モデルはデータセットの構造を悪用し、真の理解ではなく表面的な語彙的手がかりに依存することができました。この問題に対処するため、Pranav RajpurkarとPercy Liangが率いるSQuAD 2.0の作成者らは、解答不能な質問を導入しました。目標は、利用可能な文書に解答がない質問をユーザーが行う可能性がある現実世界のシナリオを反映した、より現実的な評価を作成することであり、堅牢なシステムは幻覚的な応答をするのではなく「わからない」と言えるべきです。
データセットの構築
SQuAD 2.0の構築には、2段階のプロセスが含まれていました。まず、解答可能な質問はSQuAD 1.1から直接取得され、クラウドワーカーが段落を見せられ、テキスト内のスパンで解答できる質問を書くように指示されました。次に、各段落について、追加のクラウドワーカーが解答不能な質問を書く任務を負いました。彼らは、文法的に正しく、段落のトピックに関連し、妥当性があるが、段落内のどのスパンも正しい解答を提供しない質問を作成するように指示されました。品質を確保するため、ワーカーには良い解答不能な質問と悪い解答不能な質問の例が与えられました。最終的なデータセットはフィルタリングと検証を経て、段落ごとに解答可能な質問と解答不能な質問のバランスの取れた分割が実現されました。段落自体は、歴史、科学、文化など多様なトピックをカバーするウィキペディア記事から取得されています。
モデル開発への影響
SQuAD 2.0は、機械学習と自然言語処理の分野に多大な影響を与えました。これはすぐに読解モデルを評価するための標準ベンチマークとなり、その導入は解答不能な質問への対処に関する重要な研究を促進しました。リカレントニューラルネットワークやアテンションメカニズムに基づく初期のモデルは、新しい課題に苦戦し、解答が存在しない場合でも解答を予測することがよくありました。このベンチマークは、より洗練されたアーキテクチャの開発を促進し、その中には「解答なし」分類器を組み込んだり、解答スパンの信頼度スコアにしきい値を使用したりするものも含まれます。2018年後半のTransformerベースのモデル、特にBERT（Bidirectional Encoder Representations from Transformers）の公開は、SQuAD 2.0での急速な改善をもたらしました。BERTの大規模コーパスでの事前学習により、解答可能な質問で人間に近いパフォーマンスを達成し、解答不能な質問でも大幅に優れたパフォーマンスを発揮し、新たな最先端を確立しました。
評価と意義
SQuAD 2.0は、その前身よりも困難で現実的なベンチマークと見なされています。解答不能な質問の組み込みは、モデルの論理的推論能力と、関連情報と無関係な情報を区別する能力を試します。すべての質問に対して解答を推測するだけのモデルは、すべての解答不能なインスタンスで失敗するため、低いスコアになります。このベンチマークは、従来の特徴ベースのシステムから現代の大規模言語モデルまで、幅広いモデルの比較に使用されてきました。2024年時点で、SQuAD 2.0で最高のパフォーマンスを発揮するモデルはEMスコア90%以上を達成し、約86.8% EMと推定される人間のパフォーマンスを上回っています。しかし、これらの高いスコアにもかかわらず、研究者らはモデルが依然として脆く、敵対的な例や分布外のデータで失敗する可能性があると指摘しています。SQuAD 2.0は、読解を評価するための基礎的なリソースであり続け、研究論文で引用され、人工知能に関する学術コースでも使用され続けています。
制限と将来の方向性
広く使用されているにもかかわらず、SQuAD 2.0には制限があります。データセットは抽出型であり、解答はテキストからの連続するスパンでなければならないため、多くの現代の質問応答システムの生成的な性質を反映していません。また、特定のスタイルと構造を持つウィキペディア記事に依存しており、他のドメインへの一般化を制限する可能性があります。さらに、解答不能な質問は慎重に作成されていますが、曖昧であったり、複数のソースからの情報の統合を必要としたりする現実世界のクエリの複雑さを完全に捉えていない可能性があります。これに対応して、Natural QuestionsやRACEなどの新しいベンチマークが導入されていますが、SQuAD 2.0は依然として重要な参照点です。将来の研究方向には、オープンエンドの質問を処理し、解答の説明を提供し、十分な情報が不足している場合を堅牢に検出できるモデルの開発が含まれ、SQuAD 2.0が築いた基盤の上に構築されています。