StrategyQAは、人工知能システム、特に大規模言語モデルのマルチホップ推論能力を評価するために設計された質問応答ベンチマークである。2021年にAI研究所（Allen Institute for AI）とワシントン大学の研究者らによって導入されたこのデータセットは、複数の暗黙的な知識を組み合わせて回答に到達することをシステムに要求する2,780のイエス/ノー質問で構成されている。単純な事実想起をテストするベンチマークとは異なり、StrategyQAの質問は戦略的な分解を必要とするように意図的に構築されている。つまり、モデルは複雑な質問をより小さな回答可能なサブ質問に分解し、その結果を統合しなければならない。
このベンチマークは、既存の評価方法がしばしば単一ホップの検索や浅いパターンマッチングに焦点を当てていたというギャップに対処するために作成された。StrategyQAの質問はウィキペディアや他の情報源から派生しているが、回答はどの単一の文章にも直接記載されていない。例えば、「50インチのテレビは2004年型ミニクーパーに収まるか？」といった質問は、両方の物体の寸法について推論することを必要とし、これは暗黙的な知識と多段階の推論を含むステップである。各質問には必要な背景情報を提供する「支持事実」のセットが付随しているが、モデルはこれらの事実を正しく特定し組み合わせる必要がある。
設計と構築
StrategyQAデータセットは、自動化された取り組みと人間の取り組みの両方を含む多段階のプロセスを通じて構築された。作成者らはまず、クラウドワーカーから「戦略質問」のセットを収集し、彼らにマルチホップ推論を必要とする質問を提起するよう依頼した。これらの質問はその後、注釈者によってサブ質問に分解され、推論ステップのグラフが作成された。最終データセットには2,780の質問が含まれ、各質問には平均2.7の支持事実と、イエスまたはノーのいずれかの金の回答が付随している。質問は科学、歴史、技術、日常生活を含む幅広いトピックに及び、モデルがドメイン固有の近道に依存できないようにしている。
StrategyQAの特徴的な点は、「暗黙的な」推論への焦点である。必要な証拠が複数の段落で明示的に提供されるHotpotQAなどのデータセットとは異なり、StrategyQAはモデルが自身の知識ベースを活用することを要求する。これにより、このベンチマークは、広範な世界知識や多段階推論を実行する能力を欠くモデルにとって特に困難なものとなっている。データセットには489の質問からなる検証セットと2,291の質問からなるテストセットも含まれており、テストセットは過学習を防ぐために非公開に保たれている。
評価と指標
StrategyQAの主要な指標は、イエス/ノー回答予測の正確度である。初期の評価では、当時の最先端モデル、例えばT5トランスフォーマーの微調整版が約66%の正確度を達成し、推定される人間のパフォーマンスである87%を大幅に下回ることが示された。このギャップはマルチホップ推論の難しさを浮き彫りにし、モデルアーキテクチャと訓練技術に関するさらなる研究を促進した。GPT-3アーキテクチャに基づくモデルを含む後続のモデルはパフォーマンスを向上させたが、人間レベルの推論には依然として及ばなかった。2023年時点で、検索拡張生成やチェーン・オブ・ソート・プロンプティングを組み込んだ最良のシステムは、70年代半ばから80年代前半の正確度レベルに達しているが、このベンチマークは一般的な推論能力にとって依然として挑戦的なテストである。
影響と重要性
StrategyQAは、Artificial intelligenceおよびMachine learningコミュニティ、特にLarge language modelの評価において広く使用されるベンチマークとなっている。マルチホップ推論への重点は、モデルが最終回答を生成する前に中間推論ステップを生成するよう促されるチェーン・オブ・ソート・プロンプティングなどの技術の開発に影響を与えた。このベンチマークはまた、Transformer (architecture)ベースのモデルの限界を研究するためにも使用され、それらが真の推論ではなく表面的な相関に依存することが多いことを明らかにした。これにより、ニューロシンボリックアプローチや外部知識ソースの統合への関心が高まっている。
このデータセットはまた、モデル能力を評価するために複数のタスクを集約するBIG-benchベンチマークなどのより広範な評価スイートにも組み込まれている。その設計は、科学的推論や常識的質問応答を含む他のドメインの類似ベンチマークに影響を与えた。研究者らは、StrategyQAの質問がしばしば「オープンドメイン」知識を必要とすること、つまりモデルが訓練データに存在しない情報にアクセスしなければならないことを指摘しており、これは検索拡張システムの開発に影響を与えている。
限界と批判
その人気にもかかわらず、StrategyQAはいくつかの批判に直面している。一部の研究者は、イエス/ノー形式が推論プロセスを過度に単純化しており、モデルが推測やデータセットのバイアスの悪用を通じて中程度の正確度を達成できると主張している。例えば、イエス/ノー回答の分布は完全にバランスが取れておらず、一部の質問にはモデルを誤って導く可能性のある語彙的手がかりが含まれている。さらに、データセットで提供される支持事実は質問に回答するために常に十分であるとは限らず、モデルが一貫性がないか古い可能性のある外部知識に依存することを要求する。
もう一つの限界は、データ汚染の可能性である。質問は公開情報源から派生しており、大規模言語モデルの訓練コーパスに現れる可能性がある。これにより、パフォーマンス指標が膨張し、真の推論能力が曖昧になる可能性がある。これを緩和するために、一部の研究者は新しい質問をその場で生成する動的ベンチマークを提案しているが、StrategyQAは静的リソースのままである。これらの問題にもかかわらず、このベンチマークはモデルの弱点を診断し、マルチホップ推論研究の進歩を促進するための貴重なツールであり続けている。
今後の方向性
StrategyQAからの教訓は、より堅牢で包括的であることを目指す新しいベンチマークの設計に情報を提供している。例えば、StrategyQAフレームワークは、モデルがラベルだけでなく説明を生成することを要求する多肢選択質問やオープンエンド生成タスクを含むように拡張されている。また、科学的発見や法的分析などの専門ドメインにおけるモデルの推論能力を評価するためにStrategyQAを使用することへの関心も高まっている。Generative AIシステムがより高性能になるにつれて、StrategyQAのようなベンチマークは、時間的推論や因果推論を含むより複雑な推論チェーンを組み込むように進化し、モデルの進歩に追いつく可能性が高い。
Deep learning研究のより広い文脈では、StrategyQAはパターン認識を超えて真の理解へと移行することの重要性を強調している。このベンチマークは、解釈可能性、プロンプティング戦略、およびニューラルネットワークとのシンボリック推論の統合に関する研究を触発した。StrategyQAで人間レベルのパフォーマンスを達成したモデルはまだないが、このベンチマークは知能の最も基本的な側面の一つである段階的推論能力の進歩を測定するための重要な基準であり続けている。