TextCapsは、画像内に現れるテキストを組み込んだキャプションの生成に特化した、画像キャプション用の大規模データセットおよびベンチマークである。オブジェクトやシーンを記述する従来の画像キャプションタスクとは異なり、TextCapsはモデルが画像内のテキスト（道路標識、商品ラベル、本の表紙など）を読み取り、推論し、その情報を一貫した自然言語の記述に統合することを要求する。このデータセットは2020年にGoogleとカリフォルニア大学バークレー校の研究者らによって導入され、視覚認識と光学文字認識（OCR）の間のギャップを埋めることを目指す視覚言語モデルの標準的な評価手段となっている。
TextCapsの核心的な課題は、視覚的理解とテキスト認識という2つの異なる能力を組み合わせることにある。モデルはオブジェクトとその関係を識別するだけでなく、画像内のテキストを正確に転写し、そのテキストのどの部分がシーン全体の記述に関連するかを判断しなければならない。例えば、コーヒーショップの画像では、キャプションに店先の名前、メニューボードの飲み物の種類、背景のポスターのテキストを言及する必要があるかもしれない。これには、Computer vision技術とNatural language processingおよびOptical character recognition（OCR）システムの深い統合が必要である。
データセットの構成とアノテーション
TextCapsデータセットには28,000枚の画像が含まれ、各画像には複数の人間が書いたキャプションが対応付けられており、合計で145,000以上のキャプションがある。画像はテキストを含む画像領域から取得され、街並み、屋内環境、商品写真など、多様な実世界のシーンを含む。各画像には平均5つのキャプションがあり、キャプションは説明的かつ自然であるように設計され、しばしば画像内に現れる特定のテキスト文字列を含む。データセットはトレーニング、検証、テストの各セットに分割され、テストセットは公式ベンチマーク評価に使用される。アノテーションはクラウドソーシングプラットフォームを通じて収集され、キャプションがシーンに関連する場合にのみテキストに言及するよう慎重な指示が与えられた。
データセットはまた、各画像に対してバウンディングボックスと転写されたテキストを含むOCRアノテーションを提供し、これらは多くのモデルへの入力として使用される。これにより、研究者は生のOCR検出ではなく推論と生成の側面に焦点を当てることができるが、一部のモデルはエンドツーエンドのOCR学習も組み込んでいる。
評価指標と課題
TextCapsの主要な評価指標はCIDErであり、生成されたキャプションと人間の参照との類似性を、コンセンサスと情報量に焦点を当てて測定する。BLEU、METEOR、ROUGEなどの他の指標も報告されるが、CIDErが主要なランキング基準である。このタスクは、キャプションが文法的に正しく、かつ画像内のテキストに関して事実に正確でなければならないため、特に困難である。オブジェクトを正しく識別しても標識を誤読するモデルは低いスコアを受ける。
Encoder-Decoder ArchitectureアーキテクチャとResidual Network (ResNet)特徴量に基づく標準的な画像キャプションモデルを用いた初期のベースラインは、TextCapsではCIDErスコアが50未満と低い性能を示した。これにより、OCRトークンを生成プロセスに組み込むことができる専門的なアーキテクチャの必要性が浮き彫りになった。その後の研究では、OCR特徴量へのクロスアテンションを備えたTransformer (architecture)ベースのデコーダを使用する手法が導入され、大幅な改善が達成された。
モデルアーキテクチャとアプローチ
TextCapsへの最も成功したアプローチのほとんどは、2段階のパイプラインを使用する。まずOCRシステムが画像からテキストを抽出し、次にキャプションモデルが視覚特徴量とOCRトークンの両方を使用して記述を生成する。キャプションモデルは多くの場合、画像領域の特徴量とOCRトークン埋め込みのシーケンスを入力として受け取り、キャプションをトークンごとに出力するTransformer (architecture)である。例えば、Huらによって導入されたM4C（Multimodal Multi-Copy Mesh）モデルは、OCRトークンからテキストを直接コピーできるコピーメカニズムを備えたトランスフォーマーを使用しており、これはブランド名や住所などの文字列を正確に再現するために重要である。
もう1つの研究系統は、OCRを視覚エンコーダに直接統合し、ピクセルとテキスト埋め込みの両方を同時に処理するNeural networkを使用する。これらのモデルは、テキスト生成部分に事前学習済みのLarge language modelを活用し、TextCapsトレーニングセットで微調整することが多い。視覚とテキストのモダリティ間のCross-Attentionの使用は一般的な設計パターンであり、モデルがOCRトークンを画像領域と整列させることを可能にする。
影響と関連ベンチマーク
TextCapsは、テキストと視覚を組み合わせたより包括的なベンチマークの開発を促進してきた。例えば、テキストを含む視覚的質問応答に焦点を当てたOCR-VQAやST-VQAなどがある。また、OpenAIやGoogle DeepMindによって開発されたようなマルチモーダルLarge language modelの設計にも影響を与えており、これらのモデルは現在、画像内のテキストを読み取り、説明的な応答を生成することができる。このデータセットは、AIシステムのOCR対応推論能力を評価するための標準的なテストベッドとして残っており、text-vqaやCOCO-Textなどの他のデータセットと併用されることが多い。
2025年時点で、TextCapsの最先端モデルはCIDErスコア140以上を達成しており、初期のベースラインから大幅な改善が見られるが、このタスクはまだ未解決と見なされており、珍しいテキストスタイル、複雑なレイアウト、曖昧なテキストの関連性の処理には改善の余地がある。このベンチマークは、Generative AIとマルチモーダル理解の研究を進めるための貴重なリソースであり続けている。
将来の方向性
TextCaps研究の未来は、テキストを読むだけでなく、その文脈における意味的意味を推論できるモデルの開発にある。例えば、「セール」という標識が割引を意味する、または「立入禁止」という標識が制限を示すことを理解するなどである。これには、世界知識と常識のより深い統合が必要であり、これはArtificial intelligenceの活発な研究分野である。さらに、テキストが動的に現れるビデオへのTextCapsの拡張や、OCRとキャプションが複数の文字を処理する必要がある多言語設定への拡張にも関心がある。このデータセットの設計は、医療画像や自動運転など、環境内のテキストを読むことが重要である他の領域での同様の取り組みにも影響を与えている。
関連項目
- image-captioning
- Optical character recognition
- Vision-language model
- multimodal-learning
参考文献
- Hu, R., Singh, A., Darrell, T., & Rohrbach, M. (2020). TextCaps: A Dataset for Image Captioning with Reading Comprehension. In European Conference on Computer Vision (ECCV).
- Sidorov, O., Hu, R., Rohrbach, M., & Singh, A. (2020). TextCaps: A Dataset for Image Captioning with Reading Comprehension. arXiv preprint arXiv:2003.12462.