OpenBookQAは、2018年に導入された質問応答ベンチマークであり、明示的な科学的事実と暗黙の常識の両方を用いて多段階の推論を行う機械の能力を評価することを目的としている。このベンチマークは、アレン人工知能研究所（AI2）のTodor Mihaylov、Peter Clark、Tushar Khot、Ashish Sabharwalを含む研究者チームによって作成された。これは、小学校レベルの科学知識を問う5,957問の多肢選択問題で構成され、各問題には1,326の初等科学事実からなる「オープンブック」からの少数の核となる科学事実が付随している。このタスクでは、モデルが4つの選択肢から正解を選ぶことが求められるが、重要なのは、提供された事実だけでは不十分であり、モデルはそれらをより広範な世界知識と論理的推論と組み合わせて正解に到達しなければならない点である。
このベンチマークは、初期の質問応答データセットの限界に対処するために設計された。初期のデータセットでは、モデルが浅いパターンマッチングや記憶によって成功することがしばしば可能だった。OpenBookQAでは、正解が提供された事実に直接記載されないように問題が作られており、システムは事実が質問にどのように適用されるかを推論することを強いられる。これにより、このベンチマークは推論能力のより厳格なテストとなり、人工知能および機械学習の分野における標準的な評価ツールとなっている。
設計と構造
OpenBookQAには5,957問の問題が含まれ、訓練セット（4,957問）、開発セット（500問）、テストセット（500問）に分割されている。各問題は4つの回答選択肢を持つ多肢選択形式である。このベンチマークには、「植物は食物を作るために日光を必要とする」や「水は摂氏100度で沸騰する」といった短い宣言文である1,326の科学事実からなる「オープンブック」が含まれている。これらの事実は初等科学の教科書から引用され、生物学、物理学、化学などのトピックを網羅している。
問題は、基本的な科学知識を持つ人間なら簡単に答えられるが、与えられた事実と常識を組み合わせる必要があるように設計されている。例えば、「植物が暗い部屋に置かれた場合、次に起こる可能性が最も高いのはどれか」という質問があるかもしれない。提供された事実には「植物は成長するために光を必要とする」と記載されているかもしれないが、正解は植物がうまく成長しないだろうと推論することを必要とし、これは明示的には述べられていない。この設計により、モデルは単純な検索を超えて推論に従事することを強いられる。
このベンチマークには、専門家以外でも回答可能で曖昧さがないことを保証するために人間のアノテーターによって検証された「クラウドソーシング」による問題のセットも含まれている。作成者らは、質問を生成およびフィルタリングするための多段階プロセスを使用し、高品質と難易度を確保した。
評価と性能
OpenBookQAは、大規模言語モデルや他のAIシステムを評価するための広く使用されるベンチマークとなっている。初期のモデルは、トランスフォーマーアーキテクチャに基づくものを含め、性能が低く、精度は60%未満であることが多く、人間の性能は約92%であった。このギャップは、明示的な知識と暗黙の推論を組み合わせることの難しさを浮き彫りにした。
時間の経過とともに、深層学習の進歩とより大規模なモデルの開発により、性能は大幅に向上した。2021年までに、GPT-3のようなモデルはこのベンチマークで約80%の精度を達成し、2023年までに、OpenAIやGoogle DeepMindからのものを含む最先端のシステムは、90%の精度に近づくか、それを超えていた。これらの改善は、モデルサイズのスケーリング、より良い訓練データ、およびモデルが段階的に推論することを促すチェーン・オブ・ソート・プロンプティングなどの技術によって推進された。
これらの進歩にもかかわらず、OpenBookQAは、単純なパターンマッチングでは簡単に捉えられない推論をテストするため、依然として挑戦的なベンチマークである。モデルが高いスコアを達成しても、研究者は、モデルが真の理解ではなく統計的な規則性に依存している可能性があると指摘しており、このベンチマークは現在のAIシステムの限界を探るための有用なツールとなっている。
影響と遺産
OpenBookQAは、ARC（AI2推論チャレンジ）やCommonsenseQAなどの後続のベンチマークの設計に影響を与えた。これらのベンチマークも同様に、検索よりも推論を重視している。また、外部の知識ベースや検索メカニズムを組み込んで推論を改善する知識拡張モデルに関する研究も促進した。このベンチマークは、モデルの一般的な知能を評価するために他の評価と併用されることが多く、スタンフォードAIラボやバークレーAIリサーチなどの組織のリーダーボードに登場している。
オープンブック推論に焦点を当てたこのベンチマークは、AIにおける記憶と理解の違いに関する議論にも貢献している。これは何百もの研究論文で引用されており、Amazon Web ServicesやGoogle CloudがAIサービスで使用するものを含む、多くのモデル評価スイートの標準的な構成要素となっている。
限界と批判
一部の研究者は、OpenBookQAが小学校レベルの科学に焦点を当てており、より複雑な推論タスクには一般化できない可能性があるため、範囲が狭すぎると批判している。また、このベンチマークの多肢選択形式は、最も長い回答や質問との重複が最も多い回答を選択するなど、回答選択肢の統計的なバイアスを利用するモデルによって攻略される可能性があると指摘する者もいる。これを軽減するために、作成者らは「部分点」スコアリング方式を導入したが、これらの懸念を完全には解決していない。
さらに、このベンチマークが固定された事実のセットに依存しているため、大規模なコーパスで訓練されたモデルは、類似した質問や事実をすでに見ている可能性があり、データ汚染の可能性につながる。このため、飽和を避けるために時間の経過とともに更新されるより動的なベンチマークを求める声もある。
これらの限界にもかかわらず、OpenBookQAは推論能力を評価するための貴重なツールであり続け、ニューラルネットワークおよび生成AIシステムの研究を進める上で重要な役割を果たしてきた。その設計原則は、より広範な認知スキルを捉えることを目的とした、より包括的なベンチマークの開発に情報を提供している。