TextCaps是一个大规模图像描述数据集和基准，专门侧重于生成包含图像内文本信息的描述。与描述物体和场景的传统图像描述任务不同，TextCaps要求模型读取并理解图像中出现的文本，例如街道路标、产品标签或书籍封面，并将这些信息整合到连贯的自然语言描述中。该数据集于2020年由谷歌和加州大学伯克利分校的研究人员提出，并已成为评估旨在弥合视觉感知与光学字符识别（OCR）之间差距的视觉-语言模型的标准基准。
TextCaps的核心挑战在于它结合了两种不同的能力：视觉理解和文本识别。模型不仅需要识别物体及其关系，还需要准确转录图像中的文本，并判断哪些文本部分与整体场景描述相关。例如，一张咖啡店的图片可能需要描述提及店面名称、菜单板上的饮品类型或背景海报上的文字。这要求将Computer vision技术与Natural language processing和Optical character recognition（OCR）系统进行深度整合。
数据集构成与标注
TextCaps数据集包含28,000张图像，每张图像配有多条人工撰写的描述，总计超过145,000条描述。图像来源于文本图像领域，涵盖各种真实世界场景，如街景、室内环境和产品照片。每张图像平均有五条描述，这些描述旨在具有描述性和自然性，通常包含图像中出现的特定文本字符串。数据集分为训练集、验证集和测试集，其中测试集用于官方基准评估。标注通过众包平台收集，并附有详细说明，以确保描述仅在文本与场景相关时才提及文本。
数据集还为每张图像提供了OCR标注，包括边界框和转录文本，这些标注被用作许多模型的输入。这使得研究人员可以专注于推理和生成方面，而不是原始的OCR检测，尽管一些模型也整合了端到端的OCR学习。
评估指标与挑战
TextCaps的主要评估指标是CIDEr，它衡量生成描述与人工参考之间的相似性，侧重于共识性和信息量。其他指标如BLEU、METEOR和ROUGE也会被报告，但CIDEr是主要的排名标准。该任务特别具有挑战性，因为描述必须在语法上正确，并且在图像文本方面事实准确。一个正确识别物体但误读标志的模型将获得较低分数。
使用标准图像描述模型的早期基线，例如基于Encoder-Decoder Architecture架构和Residual Network (ResNet)特征的模型，在TextCaps上表现不佳，CIDEr分数低于50。这凸显了需要能够将OCR标记整合到生成过程中的专门架构。后续工作引入了使用带有交叉注意力到OCR特征的Transformer (architecture)解码器的方法，带来了显著改进。
模型架构与方法
大多数成功的TextCaps方法采用两阶段流程：首先，OCR系统从图像中提取文本；其次，描述模型使用视觉特征和OCR标记生成描述。描述模型通常是一个Transformer (architecture)，它将图像区域特征和OCR标记嵌入的序列作为输入，并逐标记输出描述。例如，Hu等人提出的M4C（多模态多副本网格）模型使用带有复制机制的transformer，可以直接从OCR标记中复制文本，这对于准确再现品牌名称或地址等字符串至关重要。
另一类工作将OCR直接整合到视觉编码器中，使用同时处理像素和文本嵌入的Neural network。这些模型通常利用预训练的Large language model进行文本生成部分，并在TextCaps训练集上进行微调。视觉和文本模态之间的Cross-Attention是一种常见的设计模式，允许模型将OCR标记与图像区域对齐。
影响与相关基准
TextCaps推动了更全面的文本与视觉结合基准的发展，例如OCR-VQA和ST-VQA，这些基准侧重于带文本的视觉问答。它还影响了多模态Large language model的设计，例如由OpenAI和Google DeepMind开发的模型，这些模型现在能够读取图像中的文本并生成描述性响应。该数据集仍然是评估AI系统OCR感知推理能力的标准测试平台，并常与其他数据集如text-vqa和COCO-Text结合使用。
截至2025年，TextCaps上的最先进模型CIDEr分数超过140，相比初始基线有显著提升，但该任务仍被视为开放问题，在处理罕见文本样式、复杂布局和模糊文本相关性方面仍有改进空间。该基准继续是推进Generative AI和多模态理解研究的重要资源。
未来方向
TextCaps研究的未来在于开发不仅能读取文本，还能在上下文中理解其语义含义的模型，例如理解“销售”标志意味着折扣，或“禁止进入”标志表示限制。这需要更深入地整合世界知识和常识，这是Artificial intelligence中的一个活跃研究领域。此外，人们有兴趣将TextCaps扩展到视频领域，其中文本动态出现，以及多语言设置，其中OCR和描述必须处理多种文字。该数据集的设计也启发了其他领域的类似努力，例如医学成像和自动驾驶，在这些领域中，读取环境中的文本至关重要。
参见
- image-captioning
- Optical character recognition
- Vision-language model
- multimodal-learning
参考文献
- Hu, R., Singh, A., Darrell, T., & Rohrbach, M. (2020). TextCaps: A Dataset for Image Captioning with Reading Comprehension. In European Conference on Computer Vision (ECCV).
- Sidorov, O., Hu, R., Rohrbach, M., & Singh, A. (2020). TextCaps: A Dataset for Image Captioning with Reading Comprehension. arXiv preprint arXiv:2003.12462.