SQuAD v1.1（Stanford Question Answering Dataset）は、抽出型読解と質問応答のための広く使用されるベンチマークデータセットです。このデータセットは、536件のWikipedia記事に基づいてクラウドワーカーが生成した10万件以上の質問と回答のペアで構成されています。タスクでは、モデルが与えられた文章内の連続するテキスト区間として正しい回答を特定することが求められ、自然言語理解システムの基礎的な評価指標となっています。
このデータセットは、2016年にスタンフォードAIラボの研究者によって導入され、初版は2016年6月に公開され、v1.1アップデートは2016年12月に発表されました。これは、人間のパフォーマンスに近いレベルでテキストを読み、理解できるモデルの開発を促進するために設計されました。質問は、外部知識を必要とせず、提供された段落のみから回答可能となるように設計されており、各質問には単一の正解区間があります。
構造と作成
SQuAD v1.1は、科学、歴史、伝記など多様なトピックをカバーする英語版Wikipediaから536件の記事を選択して構築されました。Amazon Mechanical Turkのクラウドワーカーは、各段落を読み、質問と対応する回答を生成するよう求められました。各回答は文章の逐語的な区間であることが要求され、データセットが抽出型QAタスクに使用できることが保証されました。最終データセットには107,785件の質問と回答のペアが含まれ、訓練セット87,599ペア、開発セット10,570ペア、公式評価用の非公開テストセットに分割されています。
データセットには、誰、何、いつ、どこ、なぜ、どのようにといった多様な質問タイプが含まれています。この多様性は、モデルにエンティティ認識、時間的推論、因果推論など、異なる種類の推論を実行することを要求します。回答区間は単一トークンから複数文の文章まで多岐にわたりますが、ほとんどは短いフレーズです。
評価指標
モデルは、Exact Match（EM）とF1スコアの2つの主要な指標で評価されます。EMは、予測が正解回答と完全に一致する割合を測定し、句読点と冠詞は無視されます。F1スコアは、予測トークンと正解トークンの間の適合率と再現率の調和平均を計算し、部分一致を報酬とするより寛容な指標を提供します。これらの指標は読解分野の標準となり、その後の多くのデータセットで使用されています。
SQuAD v1.1における人間のパフォーマンスは、EM 82.3、F1 91.2と推定され、モデル比較の参照点となっています。初期のモデルはF1で50%を超えるのに苦労しましたが、深層学習とニューラルネットワークアーキテクチャの急速な進歩により、数年以内に大幅な改善が見られました。
影響と遺産
SQuAD v1.1は、機械学習と人工知能の研究を進展させる上で極めて重要な役割を果たしました。これは、研究者がモデルを客観的に比較できる標準化された大規模ベンチマークを提供しました。このデータセットは、後に現代の大規模言語モデルの基盤となったTransformerベースのモデルを含む、多くの影響力のあるアーキテクチャの開発を促進しました。
特に、SQuAD v1.1の公開は、自然言語処理における注意機構とマルチヘッド注意の台頭と時期を同じくしました。BiDAF（Bidirectional Attention Flow）や後のBERTなどのモデルは、このベンチマークで最先端の結果を達成し、事前学習と微調整パラダイムの力を実証しました。これらのモデルがSQuAD v1.1で成功したことは、エンコーダー・デコーダーおよびシーケンス・ツー・シーケンスフレームワークの有効性を検証するのに役立ちました。
このデータセットは、モデルの堅牢性をテストするために回答不可能な質問を追加したSQuAD v2.0を含む、その後のベンチマークの作成にも影響を与えました。RACEやTriviaQAなど、他の多くの読解データセットも同様の原則で設計されましたが、SQuAD v1.1はこの分野で最も引用され、広く使用されるベンチマークの1つであり続けています。
制限と批判
その成功にもかかわらず、SQuAD v1.1にはいくつかの制限があります。タスクの抽出型の性質により、モデルは新しい回答を生成するのではなく、テキストの区間を特定するだけで済みます。これは、情報を特定するのが得意だが、情報を統合したり推論したりする能力が低いモデルにつながる可能性があります。データセットはWikipedia記事に依存しているため、トピックのカバレッジや文体にバイアスが生じる可能性もあります。
さらに、クラウドソーシングされた質問には、曖昧さが含まれたり、文章に明示されていない常識的推論が必要な場合があります。モデルが改善されるにつれて、人間と機械のパフォーマンスの差は縮まり、データセットがトップクラスのシステムを区別する能力について懸念が生じました。これらの問題は、より困難なベンチマークの作成と、抽出型回答を超える生成AIアプローチの探求を動機付けました。