WebQuestionsは、人工知能と機械学習の分野におけるベンチマークデータセットであり、知識グラフFreebase上の質問応答システムを評価するために用いられる。このデータセットは5,810組の質問と回答のペアで構成され、各質問は自然言語によるクエリであり、回答はFreebase上のエンティティまたは値の集合である。2013年にGoogleの研究者らによって導入され、大規模で現実的なセマンティックパージングおよび知識ベース質問応答のベンチマークが不足していたことを補うために作成された。
WebQuestionsは、Google Suggest APIを用いてユーザーが実際に入力する質問を収集し、その後、アノテーターが各質問をFreebase上のエンティティおよび回答に対応付けることで構築された。この設計により、従来の合成クエリに基づくベンチマークよりも、実際のユーザーの質問をよりよく反映している。データセットは、トレーニングセット3,778問とテストセット2,032問に分割される。さらに、公式の配布には含まれないが、開発セットとして200問が一般的に使用される。このベンチマークは、自然言語を論理形式または知識ベース上の直接的な回答にマッピングするシステムの標準的なテストベッドとして急速に普及した。
構築とアノテーション
質問はGoogleの検索サジェストログから選択され、「何」「誰」「いつ」「どこ」といったフレーズで始まるものに特に焦点が当てられた。各質問は、事前に定義された語彙を用いてSPARQLに類似したクエリに手動でアノテーションされ、最終的な回答はそのクエリをFreebaseデータベースに対して実行した結果として得られた。アノテーションはクラウドソーシング（Amazon Mechanical Turk）を通じて作成され、その後、別のワーカーによる2回目の検証が行われた。このデータセットの注目すべき特徴として、一部の質問は曖昧であり、解釈によって複数の正解が存在し得るが、アノテーターは最も一般的に期待される回答を選択するよう指示されていた。
公式論文「Semantic Parsing on Freebase from Question-Answer Pairs」（EMNLP 2013）では、データセットの紹介とともにベースラインの結果が報告された。著者はMichael J. Cafarella、Jonathan Berant、Andrew Chou、Percy Liangであり、彼らはカリフォルニア大学バークレー校に所属していた。WebQuestionsは、その後、多くのシステムの評価リソースとして中心的な役割を果たし、特に論文で提案されたラムダ計算に基づくセマンティックパーサーがその代表例である。
質問応答研究への関連性
WebQuestionsは、2000年代に支配的だったGeoQueryやATISなどのセマンティックパージングデータセットに対抗する形で設計された。これらの従来データセットは合成質問と限られたドメインに依存していたのに対し、WebQuestionsはオープンドメインであり、より広範な語彙とFreebaseエンティティのカバレッジを備えている。これにより、語彙化されたセマンティックパージングと埋め込みベースの類似性を組み合わせたシステムの開発が促進された。リリース後、研究者らはWebQSP（WebQuestionsのより細かい含意分割）などの拡張を構築し、ニューラルモデルを用いた回答抽出の改善を進めた。
WebQuestionsの顕著な限界として、回答がFreebaseに直接依存していることが挙げられる。Freebaseは2015年にGoogleによって廃止されたが、データはスナップショットとして引き続き利用可能である。このため、現在の知識ベースへのモデルの転用可能性に影響が出ている。それでもなお、このベンチマークは、質問応答における構成的汎化を評価するための標準的な指標として残っている。
また、このデータセットは、自然言語の自由な表現と知識ベースのスキーマ用語との間の語彙的ギャップという課題を浮き彫りにした。多くの質問では、同義語、略語、または間接的な関係の認識が必要となる。この課題は、潜在的なメンション検出とエンティティリンキングを半教師ありで学習する研究の流れを生み出し、その後の大規模言語モデル時代のアプローチにも影響を与えた。
方法論と評価指標
主な評価指標は平均F1スコアであり、各質問について、システムが予測したFreebaseエンティティまたは値の集合と、正解集合との間で適合率と再現率を計算し、その調和平均を取る。公式の評価コードはGitHub上のwebQuestionsリポジトリで共有されている。初期のベースラインシステムではF1スコアが約0.30にとどまったが、2020年頃までに、ニューラルエンドツーエンドアプローチ（GrailやTransformerベースのモデルなど）を用いたシステムは、元のテストセットで約0.78〜0.79に達した。2023年には、より高度なエンティティリンキング戦略を組み込んだシステムで約0.84のF1スコアが報告されている。
遺産と影響
WebQuestionsは、他のベンチマーク作成の取り組みにも影響を与えた。例えば、ComplexQuestionsやQALD（Question Answering over Linked Data）などがその例である。また、知識グラフ埋め込みを用いた敵対的テストの基盤としても使用され、多くのオープンソースのQAフレームワーク（KELTやFreebaseベースのツールなど）が健全性チェックのためにこのデータセットを利用している。現在でも、セマンティックパージングの堅牢性評価や、事前学習済み言語モデルと外部知識ベースを組み合わせたシステムの評価において、頻繁に使用されるベンチマークとなっている。
WebQuestionsは、作成者によって維持され、2023年時点でもGitHub上でアーカイブされており、自由にアクセスできる。データセットには、質問IDとそれに対応するFreebaseエンティティのペアが含まれており、ユーザーは自身のFreebaseダンプのバージョンがアノテーションと一致することを確認する必要がある。
関連項目
- 人工知能
- 機械学習
- ニューラルネットワーク
- 大規模言語モデル
- オープンAI
- 知識グラフ
- セマンティックパージング
- 質問応答