TextVQAは、Artificial intelligenceの分野における研究タスクおよびベンチマークであり、コンピュータビジョンと自然言語処理を組み合わせたものです。これは、画像内に現れるテキストを読み取り、理解することに正解が依存する画像についての質問に答えることに焦点を当てています。これには、街の標識、製品ラベル、レストランのメニュー、手書きのメモ、その他の現実世界の物体上のテキストが含まれます。物体やシーンを認識することに依存することが多い標準的な視覚質問応答（VQA）とは異なり、TextVQAは特に、モデルが光学文字認識（OCR）を実行し、抽出したテキスト情報を視覚的文脈と質問の意味論と統合する能力をテストします。
このタスクは、テキストがほとんどまたはまったく意味を持たない画像を典型的に含む初期のVQAデータセットのギャップに対処するために導入されました。TextVQAは、システムがテキストを検出して認識するだけでなく、質問との関連性について推論することを要求し、しばしば空間的推論（例：「ドアの上に何と書いてあるか？」）や常識的推論（例：標識に基づいて「これは何の店か？」）を含みます。このベンチマークは、マルチモーダル学習における重要な研究を促進し、特に視覚的特徴、OCRトークン、言語表現を共同で処理できるアーキテクチャの開発を促進しました。
データセットとベンチマーク
TextVQAデータセットは、2019年にジョージア工科大学とFacebook AI Research（現在はMeta AIの一部）の研究者によって公開されました。これは、Open Imagesデータセットから取得された4,972枚の画像に対する28,408の質問で構成されています。各画像には少なくとも1つのテキストの単語が含まれており、質問は正しく答えるためにそのテキストを読むことを要求するように設計されています。データセットは、トレーニングセット（34,602の質問）、検証セット（5,000の質問）、テストセットに分割され、テストセットはオンラインサーバーを介した公式評価に使用されます。
質問はオープンエンドであり、通常1〜3語の短い回答を必要とします。データセットには、各画像のグラウンドトゥルースOCRアノテーションが含まれており、単語のバウンディングボックスと認識されたテキストを提供します。これにより、モデルは明示的なOCR監視でトレーニングするか、事前抽出されたOCR特徴を使用できます。評価指標は標準的なVQA精度であり、予測された回答が10の人間提供のグラウンドトゥルース回答の1つと一致する場合に正しいと見なされます。
モデルアーキテクチャ
TextVQAへの初期のアプローチは、事前トレーニングされたOCRシステム（RosettaやTesseractなど）とNeural networkを組み合わせたモジュラーパイプラインを使用して推論を行いました。一般的なアーキテクチャはLook、Read、Reason、Answer（LoRRA）モデルであり、画像特徴にはResidual Network (ResNet)、質問エンコーディングには双方向LSTM、視覚的特徴、テキスト特徴、OCR特徴を組み合わせるためのマルチモーダル融合層を使用しました。LoRRAはまた、モデルがOCRトークンから直接単語を出力できるようにするコピーメカニズムも組み込んでおり、これは逐語的なテキストを必要とする質問に答えるのに効果的であることが証明されました。
その後のモデルは、M4C（Multimodal Multi-Copy Mesh）などのTransformer (architecture)ベースのアーキテクチャを活用し、反復的な回答デコードプロセスと複数のOCRトークンを処理するためのマルチコピーメカニズムを導入しました。その後、Large language modelベースのシステム（例：LLaVA、Flamingo）などの統一された視覚言語モデルが、データセットでの微調整によりTextVQAに適応され、画像とテキストのペアでの大規模な事前トレーニングを活用して高い精度を達成しました。
課題と評価
TextVQAはいくつかの独自の課題を提示します。まず、自然シーンでのOCRは、多様なフォント、照明、遮蔽、遠近法による歪みのために困難です。第二に、モデルは画像に複数のテキストインスタンスが含まれることが多いため、どのテキストが質問に関連するかを判断する必要があります。第三に、推論にはテキストと視覚的手がかりの組み合わせが必要な場合があり、例えば標識の色やラベルの位置を特定することが含まれます。第四に、一部の質問はテキストに基づく算術的または時間的推論を必要とします（例：標識から「店は何時に閉まりますか？」）。
評価はテストセットで実行され、モデルは精度によってランク付けされます。2024年現在、最先端のモデルは約80%の精度を達成しており、初期のベースラインの約40%から向上しています。このベンチマークは、異なる文脈でのシーンテキスト理解に焦点を当てたOCR-VQAやST-VQAなどの関連タスクにも拡張されています。
影響と応用
TextVQAは、特に文書理解と支援技術の文脈において、マルチモーダルAIシステムの開発に影響を与えました。応用には、視覚障害のあるユーザーが標識やラベルを読むのを支援すること、自動フォーム処理、テキストを含む画像をインデックス化する検索エンジンの強化が含まれます。このタスクはまた、空間的テキストグラウンディングのためのCross-AttentionメカニズムとPositional Encodingに関する研究を促進しました。
このベンチマークは学術研究と産業で広く使用されており、Google DeepMind、OpenAI、その他の研究所が視覚言語モデルの評価のためのテストベッドとして使用しています。また、Artificial intelligence推論スイートなどのより広範なベンチマークにも統合されており、モデルがテキスト的手がかりを用いたマルチモーダル推論をどのように処理するかの理解に貢献しています。
関連タスクとデータセット
TextVQAはシーンテキスト理解タスクのファミリーの一部です。関連データセットには、異なる画像分布でのテキストベースの推論に焦点を当てたST-VQA（Scene Text Visual Question Answering）や、本の表紙の画像を使用してタイトルと著者について質問するOCR-VQAが含まれます。これらのベンチマークは、Machine learningを高レベルの推論と組み合わせる際の限界を集合的に押し広げています。
将来の方向性
TextVQAに関する将来の作業には、多言語テキストのより堅牢な処理、より長い回答を生成できるGenerative AIモデルとの改善された統合、および未見のドメインへのより良い一般化が含まれる可能性があります。研究者はまた、推論ステップを説明することでモデルをより解釈可能にする方法や、テキストを含むラベルなし画像での自己教師あり学習を通じて大規模な注釈付きデータセットへの依存を減らす方法を探求しています。