Sherlockは、2020年にノースカロライナ大学チャペルヒル校とアレン人工知能研究所の研究者らによって導入された、視覚的常識推論のための大規模データセットおよびベンチマークである。このデータセットは、Visual Genomeプロジェクトから取得された約21,000枚の画像から派生した103,000以上の質問と回答のペアで構成されており、各質問は単純な物体認識を超えた常識的知識を必要とするように設計されている。Sherlockは、視覚的質問応答（VQA）ベンチマークにおけるギャップに対処するために作成されたものであり、これらのベンチマークは、人間が画像を解釈する際に使用する暗黙の日常的知識ではなく、文字通りのシーン記述に焦点を当てることが多い。
このデータセットは、多肢選択式質問応答タスクと根拠生成タスクという2つの補完的なタスクを中心に構成されている。多肢選択タスクでは、モデルは4つの選択肢から正しい回答を選択する必要があり、正しい回答には、サーフボードを持っている人がビーチの近くにいる可能性が高いと予測するなど、明示されていない特性や関係を推論することが求められる。根拠生成タスクでは、モデルが与えられた回答が正しい理由を自由形式で説明し、予測の背後にある常識的推論を明確に表現することを奨励する。この二重構造により、Sherlockは認識能力と推論能力の両方を厳密にテストするものとなっている。
構築とアノテーション
Sherlockは、2段階のクラウドソーシングパイプラインを使用して構築された。まず、アノテーターはVisual Genomeの画像を表示され、表示されている物体や属性を単に列挙するだけでは答えられず、常識的推論を必要とする質問を書くように求められた。例えば、「なぜその人はヘルメットを着用しているのか？」という質問は、ヘルメットは見えているが、その理由（例えば、オートバイに乗っているなど）は見えない場合に考えられる。次に、各質問には4つの回答選択肢（1つは正解、3つはもっともらしい誤答）がペアリングされ、アノテーターは正しい回答を説明する短い根拠も書いた。最終データセットには103,302の質問が含まれ、トレイン/テスト分割は約80/20であり、各画像には平均5つの質問が関連付けられている。
品質を確保するため、アノテーションプロセスには複数回のレビューとフィルタリングが含まれていた。曖昧な質問、外部の事実知識（特定の歴史的出来事など）を必要とする質問、または複数のもっともらしい回答がある質問は破棄された。結果として得られたデータセットは、傘を持っている人は雨を期待している可能性が高い、またはキッチンナイフは食品を切るために使用されるといった、日常的で普遍的な常識を強調している。
評価と指標
モデルは、多肢選択タスクの正確性と生成された根拠の品質という2つの主要な指標で評価される。多肢選択タスクでは、正確性は単に正しく回答された質問の割合である。根拠生成では、元の論文ではBLEUスコアが使用されたが、その後の研究ではROUGEや人間による評価など、より堅牢な指標が採用されることが多い。このベンチマークは、当時のモデルにとって挑戦的であるように設計されており、元の論文では、Residual Network (ResNet)と注意メカニズムに基づく強力な視覚的質問応答モデルが約55%の正確性を達成したのに対し、サンプリングされたサブセットでの人間のパフォーマンスは約90%であった。この大きなギャップは、視覚的常識推論の難しさを浮き彫りにし、さらなる研究を動機付けた。
重要性と影響
Sherlockは、Computer visionとNatural language processingの分野、特に視覚と言語の交差点における研究において、標準的なベンチマークとなっている。これは、Transformer (architecture)アーキテクチャやLarge language modelに基づくものを含む、多数のモデルの評価に使用されてきた。このデータセットの単純な認識よりも推論を重視する点は、VCR（Visual Commonsense Reasoning）やOK-VQAなど、同様に外部知識を必要とするその後のベンチマークに影響を与えた。Sherlockはまた、視覚言語タスクにおける説明生成手法の開発にも貢献しており、これはArtificial intelligenceシステムの解釈可能性と信頼性にとって関心が高まっている分野である。
このデータセットは、Deep learningモデルの限界を研究する上で特に有用である。例えば、分析により、モデルは真の推論ではなく、回答選択肢の統計的な規則性に依存することが多く、空間的または時間的推論を必要とする質問に苦労することが示されている。これにより、Curriculum LearningやData Augmentationを含む、より堅牢なトレーニング手法や、外部知識ベースの統合に関する研究が促進された。
限界と批判
その影響力にもかかわらず、Sherlockはいくつかの点で批判されている。根拠評価におけるBLEUの使用は、人間の判断との相関が低いことが知られており、有効であるが表現が異なる根拠に対して誤解を招く低いスコアをもたらす可能性がある。さらに、Visual Genomeの画像への依存は、西洋の都市部の文脈からの一般的な物体やシーンの過剰表現などのバイアスを導入し、それに基づいてトレーニングされたモデルの一般化可能性を制限する可能性がある。一部の研究者はまた、多肢選択形式は、回答オプションの微妙な言語的手がかりを利用するモデルによって悪用される可能性があると指摘しており、これは多くのVQAベンチマークに共通する問題である。これらの限界は、より多様で敵対的に構築されたデータセットの必要性を促している。
遺産と将来の方向性
Sherlockは、視覚言語コミュニティで広く引用されるリソースであり続け、視覚とテキストの理解を組み合わせるモデルの事前トレーニングや評価ターゲットとしてよく使用される。その設計は、物理的推論や社会的相互作用など、特定の種類の常識に焦点を当てた後続のデータセットに影響を与えた。2020年代半ばの時点で、Transformer (architecture)アーキテクチャに基づき、大規模なマルチモーダルコーパスでトレーニングされた最先端のモデルは、Sherlockで大幅に高い正確性を達成しており、一部は80%を超えているが、人間レベルのパフォーマンスは依然として達成されていない。このデータセットは、Generative AIシステムの推論能力を探り、そのような推論をより明示的で検証可能にする手法を開発するための貴重なツールとして機能し続けている。
関連項目
- 視覚的質問応答
- 常識推論
- データセット
- Visual Genome
参考文献
元のSherlock論文は、2020年のコンピュータビジョンとパターン認識会議（CVPR）で発表され、CVPRの議事録で入手可能である。データセットは公開されており、プロジェクトの公式ウェブサイトからアクセスできる。