Natural Questionsは、オープンドメイン質問応答研究のための大規模データセットであり、2019年にGoogleの研究者によって導入された。このデータセットは、Google検索エンジンに実際に入力された匿名化されたクエリで構成され、各クエリには回答を含むWikipediaページ、および該当する場合には長い回答（段落または表）と短い回答（スパンまたはエンティティ）がペアとして付与されている。これは、読解ベンチマークを超えて、ユーザーが実際に検索エンジンに入力するような真の情報探索質問に焦点を当てることで、質問応答を前進させることを目的として設計された。
このデータセットは、初期のQAデータセットの限界に対処するために作成された。初期のデータセットは、しばしば人工的な質問に依存したり、回答が常に与えられたパッセージに存在することを前提としていた。Natural Questionsは、代わりに、曖昧なクエリ、複数部分からなる質問、ページに回答が存在しない場合など、現実世界の検索行動の複雑さを反映している。コーパスには、307,373件のトレーニング例、7,830件の開発例、7,842件のテスト例が含まれており、回答は人間の評価者によって2段階のプロセスで注釈が付けられている。まず長い回答（段落または表）を特定し、次にその中の短い回答（スパンまたはエンティティ）を特定する。
構築と注釈
データセットは、2018年1月から12月の間にサンプリングされた匿名化されたGoogle検索クエリから構築された。各クエリは、Googleのランキングシステムが回答を含む可能性が高いと判断したWikipediaページにマッチングされた。注釈者は、2段階のラベリングプロセスを実行した。まず、段落、表、リストのいずれかである長い回答を選択し、次に、単一のエンティティ、テキストのスパン、または「はい」/「いいえ」の応答である短い回答を抽出した。ページに回答が存在しない場合、注釈者はその旨をマークした。このプロセスにより、回答の種類の自然な分布を持つデータセットが作成された。これには、回答がない質問も含まれており、これは現実世界のQAでは一般的であるが見落とされがちなシナリオである。
ベンチマークとしての重要性
Natural Questionsは、SQuADなどの初期のデータセットを補完する形で、オープンドメイン質問応答の標準ベンチマークとして急速に確立された。SQuADが回答を含むパッセージを提供するのとは異なり、Natural Questionsは、システムが大規模なコーパス（通常はWikipedia）から関連情報を取得し、その後回答を抽出することを要求する。この設定は、後に大規模言語モデルアプリケーションの中心となった検索拡張生成パラダイムと一致する。このデータセットは、抽出型モデルと生成型モデルの両方の評価に使用され、2020年にFacebook AIが導入したDPR（Dense Passage Retriever）モデルなど、高密度検索技術の開発を促進し、ベンチマークで強力な結果を達成した。
質問応答研究への影響
Natural Questionsは、その後のQAデータセットとシステムの設計に影響を与えた。実際のユーザークエリに焦点を当てたことで、ノイズ、曖昧さ、回答不可能な質問の処理の重要性が強調された。また、このデータセットは、モデルがスパンを単にコピーするのではなく回答を合成する生成型QAへの移行に貢献した。2020年代初頭の時点で、Natural Questionsにおける多くの最先端システムは、トランスフォーマーベースのアーキテクチャを使用しており、検索にはBERTスタイルのエンコーダー、生成にはT5またはGPTスタイルのデコーダーが含まれていた。このデータセットは現在も広く引用され、機械学習モデルの事前学習または評価リソースとして、自然言語処理コミュニティで頻繁に使用されている。
限界と批判
その影響力にもかかわらず、Natural Questionsには限界がある。データセットは回答ソースとしてWikipediaに限定されており、ウェブコンテンツの多様性を完全には反映していない可能性がある。注釈プロセスは徹底しているものの、時間と費用がかかり、自動生成されたコーパスと比較してデータセットのサイズが制限されている。さらに、一部の研究者は、複数の有効な回答がある質問や回答が暗黙的である質問について、短い回答の注釈が一貫性に欠ける場合があると指摘している。これらの問題により、複数言語をカバーするTyDi QAや、長文の説明的回答に焦点を当てたELI5などの補完的なデータセットの作成が動機付けられた。
遺産と継続的な使用
Natural Questionsは、特に現代の人工知能アプリケーションで使用される検索拡張生成パイプラインの文脈において、オープンドメインQAシステムを評価するための重要なリソースであり続けている。また、モデルの堅牢性、解釈可能性、および現実世界のクエリに対する人間と機械のパフォーマンスのギャップを研究するための学術研究でも使用されている。このデータセットの設計原則、特に本物のユーザー質問への強調は、オープンドメイン設定での質問応答の問題に研究者が取り組む方法に影響を与え、新しいベンチマークとモデルの参照点として現在も機能し続けている。