DocVQA（文書視覚質問応答）は、文書画像の内容に関する質問に回答する人工知能システムの能力を評価するために設計されたベンチマークデータセットである。自然シーンに焦点を当てた従来の視覚質問応答（VQA）とは異なり、DocVQAは、テキスト内容、複雑なレイアウト、表、図、多様なタイポグラフィを組み合わせた文書特有の課題を対象としている。このタスクでは、モデルがテキストを読み取るだけでなく、空間配置と視覚的手がかりを理解して、正しい回答を特定し統合することが求められる。
このデータセットは、2020年にバスク大学（UPV/EHU）とアリカンテ大学の研究者らによって、Ruben Tito氏を中心とするチームにより導入された。これは、自然画像に焦点を当てたものか、推論要素を伴わない純粋なテキスト抽出に焦点を当てたものかのいずれかである既存のベンチマークのギャップを埋めるために作成された。DocVQAは以来、文書理解の進歩のための標準的な参照点となり、視覚と言語処理を組み合わせたマルチモーダルモデルの進展を促進している。
データセット構成
DocVQAデータセットは、12,000以上の個別の文書ページから派生した50,000以上の質問で構成されている。これらの文書は、学術論文、ビジネスレポート、請求書、フォーム、技術マニュアルなど、多様な業界と形式から収集されている。各質問には、短いフレーズ、数字、日付、または項目リストであり得る正解がペアになっている。質問は、単純なテキスト検索（例：「請求書番号は何ですか？」）から、文書の複数の部分からの情報を組み合わせることを含むより複雑な推論（例：「表に記載されているすべての項目の総コストはいくらですか？」）まで、異なる理解レベルを必要とするように設計されている。
データセットは、トレーニング、検証、テストセットに分割されている。トレーニングセットには約41,000の質問、検証セットには約5,000、テストセットには約5,000が含まれている。テストセットは保留され、公式評価に使用され、結果は公開リーダーボードで報告される。質問は、はい/いいえ、数字、日付、短いフレーズの回答を含むタイプ別に分類され、異なる質問形式にわたるモデルパフォーマンスの詳細な分析を可能にしている。
評価指標
DocVQAのパフォーマンスは、主に平均正規化レーベンシュタイン類似度（ANLS）メトリックを使用して測定される。完全一致精度とは異なり、ANLSは、OCR（光学文字認識）エラーやフォーマットの違いが発生し得る文書理解においてより現実的である、軽微なスペルミスや表現のわずかな変動に対して寛容である。ANLSスコアは0から1の範囲で、1は予測回答と正解の完全な一致を示す。このメトリックは、部分一致よりも不正解を重く罰し、モデル品質の堅牢な尺度を提供する。
ANLSに加えて、一部の研究では二次メトリックとして完全一致精度を報告している。公式リーダーボードはANLSスコアで提出をランク付けし、2024年時点でトップパフォーマンスのモデルは0.90以上のスコアを達成しており、ベンチマークでの人間に近いパフォーマンスを示している。しかし、これらの高いスコアは、多くの場合、大規模で計算集約的なモデルから得られており、ベンチマークパフォーマンスと実世界の堅牢性の間には依然としてギャップがある。
他のベンチマークとの関係
DocVQAは、テキストのみの質問応答のためのSQuADや自然画像のためのVisual QAを含む、より広範な文書理解ベンチマークファミリーの一部である。これは、OCR、キー情報抽出、レイアウト分析などの他の文書固有のタスクと密接に関連している。このベンチマークは、より専門的な文書タイプに焦点を当てたInfographicVQAやChartQAなどの派生データセットに影響を与えている。Artificial intelligenceとMachine learningの文脈では、DocVQAは、特にTransformer (architecture)モデルに基づくNeural networkアーキテクチャを統合するマルチモーダルシステムのテストベッドとして機能する。
OpenAI、Anthropic、Google DeepMindによって開発されたものなど、視覚能力を持つLarge language model（LLM）の台頭は、DocVQAへの関心を再燃させている。これらのモデルは、多くの場合Encoder-Decoder ArchitectureまたはMulti-Head Attentionメカニズムに基づいて構築されており、文書推論能力をベンチマークするためにDocVQAで評価されている。このベンチマークはまた、文書処理サービスを提供するAmazon Web ServicesやGoogle Cloudなどの企業からの専門的な文書AIシステムのパフォーマンスを評価するためにも使用されている。
課題と限界
広く使用されているにもかかわらず、DocVQAにはいくつかの限界がある。データセットは主に英語であり、多言語文書理解への適用性を制限している。文書は比較的クリーンでよくスキャンされているが、実世界の文書にはノイズ、手書き、複雑な配色が含まれることが多い。さらに、質問は人間のアノテーターによって生成され、すべての可能な推論タイプをカバーしているとは限らず、モデルを特定のパターンに偏らせる可能性がある。ベンチマークはまた、敵対的摂動やドメインシフトへの堅牢性を明示的にテストしておらず、これは本番環境での展開にとって重要である。
もう一つの課題は、高いスコアを達成するための計算コストである。多くのトップパフォーマンスモデルは、大規模なデータセットでの大規模な事前トレーニングに依存しており、これはすべての研究グループにとって実行可能ではない。これにより、Model PruningやData Augmentationなどのより効率的なアーキテクチャとトレーニング方法への関心が高まり、文書理解をよりアクセスしやすくしている。
将来の方向性
文書視覚質問応答の分野は急速に進化している。将来の作業は、DocVQAを他の言語や文書タイプに拡張し、より複雑な推論タスクを組み込み、モデルの解釈可能性を向上させることに焦点を当てる可能性がある。また、モデルが広範な微調整なしで未知の文書形式に一般化できるゼロショットおよび少数ショット学習への推進もある。Generative AIが進歩し続ける中、DocVQAは、AIシステムが世界中の文書に保存されている膨大な情報を確実に読み取り、推論できることを保証するための重要なベンチマークであり続けている。