ScienceQAは、科学問題に対する人工知能システムの能力を評価するために設計された大規模ベンチマークデータセットである。2022年にカリフォルニア大学ロサンゼルス校の研究者チームと他の機関によって導入された。このデータセットは、物理学、化学、生物学、地球科学などの科目にわたる21,000以上の多肢選択問題で構成され、各問題には画像や図、文脈情報が付随している。ScienceQAはそのマルチモーダルな性質で知られ、モデルがテキストと視覚の理解を統合して正しい答えに到達することが求められる。
このベンチマークは、テキストのみまたは画像のみのタスクに焦点を当てることが多かった初期の質問応答データセットの限界に対処するために作成された。ScienceQAは、科学問題が図、グラフ、実験設定の解釈を頻繁に伴うため、より現実的で挑戦的な設定を提供する。質問は小学校および高校の科学カリキュラムから出典されており、幅広いAIモデルがアクセス可能でありながら、真の推論スキルを必要とする。各質問には多肢選択の選択肢、正解、人間が読める説明が注釈として付けられており、モデルの推論の評価と分析の両方が可能である。
データセット構造と注釈
ScienceQAには21,208問が含まれ、トレーニング、検証、テストの各セットに分割されている。トレーニングセットには12,726問、検証セットには4,241問、テストセットには4,241問が含まれる。各質問には科目、トピック、学年レベル、カテゴリ（例：「自然科学」または「社会科学」）が関連付けられている。注釈には、背景情報を提供するテキスト文脈と、関連する場合には図や画像も含まれる。正解が提供され、人間の注釈者によって書かれた簡潔な説明も付随し、これはモデル生成の説明の品質を評価するための参照として機能する。
このデータセットは、物理学（例：力、エネルギー）、化学（例：化学反応、物質の状態）、生物学（例：植物および動物の細胞、生態系）、地球科学（例：天気、地質学的プロセス）を含む幅広い科学トピックをカバーしている。質問は事実の想起だけでなく、新しい状況への概念の適用、グラフからのデータ解釈、視覚表現からの推論などの推論スキルを試すように設計されている。
評価とベースラインモデル
ScienceQAは、さまざまな機械学習モデルを用いた一連のベースライン実験とともに導入された。著者らは、従来の視覚言語モデルやより最近のトランスフォーマーベースのアーキテクチャを含むいくつかのアプローチを評価した。主要な発見の1つは、多くの既存モデルがScienceQAで低い性能を示し、テストセットでの正解率が50%未満であることが多く、ベンチマークの難しさを浮き彫りにしたことである。当時の最良のベースラインは、画像特徴とテキスト埋め込みを組み合わせたマルチモーダルトランスフォーマーを使用し、テストセットで約89%の正解率を達成したが、これは推定90%以上とされる人間の性能には依然として及ばなかった。
このベンチマークは以来、マルチモーダル推論と質問応答の研究における標準的な評価ツールとなっている。これは、OpenAIやGoogle DeepMindなどの組織によって開発されたものを含む、大規模言語モデルや視覚言語モデルの能力を評価するために使用されてきた。例えば、GPT-4やGeminiなどのモデルがScienceQAでテストされ、一部は90%以上の正解率を達成し、AI推論における顕著な進歩を示している。
AI研究における役割
ScienceQAは、人工知能のいくつかの分野での研究を進める上で重要な役割を果たしてきた。これは、モデルが答えを提供する前に中間的な推論ステップを生成するように促されるチェーン・オブ・ソート・プロンプティングの有効性を研究するために使用されてきた。研究によると、このようなプロンプティング技術は、特に大規模言語モデルにおいて、ScienceQAでの性能を向上させることができる。このデータセットはまた、視覚情報とテキスト情報の統合を調査するためにも使用され、画像と言語の表現をより良く整合させる新しいアーキテクチャの開発につながっている。
さらに、ScienceQAはAIにおける説明可能性の概念を探求するために使用されてきた。各質問には人間が書いた説明が含まれているため、研究者はモデル生成の説明をこれらの参照と比較して、モデルが答えをどの程度うまく正当化するかを評価できる。これは、教育や科学研究のアプリケーションにおいて一貫した説明を提供する能力が重要であるため、信頼できるAIシステムの構築に影響を与える。
限界と将来の方向性
その強みにもかかわらず、ScienceQAには特定の限界がある。質問は学校レベルのカリキュラムに基づいており、高度な科学的推論の複雑さを捉えきれない可能性がある。さらに、多肢選択形式は、モデルが深い理解なしに正しく推測できる場合があるが、説明がこの問題を軽減するのに役立つ。データセットはまた静的であり、最近の科学的発見やカリキュラムの変更を反映していない。
将来の作業には、ScienceQAをより自由形式の質問を含むように拡張し、より高いレベルのトピックをカバーし、インタラクティブなシミュレーションなどの動的要素を組み込むことが含まれる可能性がある。研究者はまた、モデルが時間の経過とともに新しいタイプの質問に適応する必要がある継続学習のベンチマークとしてScienceQAを使用する方法を模索している。AIシステムが改善を続けるにつれて、ScienceQAのようなベンチマークは、進歩を測定し、さらなる研究が必要な領域を特定するために不可欠であり続けるだろう。