TextVQA是人工智能领域中的一项研究任务和基准，它结合了计算机视觉和自然语言处理。该任务聚焦于回答关于图像的问题，其中正确答案依赖于阅读并理解图像内出现的文本。这包括街道标志、产品标签、餐厅菜单、手写笔记以及其他现实世界物体上的文字。与通常依赖识别物体和场景的标准视觉问答（VQA）不同，TextVQA专门测试模型执行光学字符识别（OCR）并将提取的文本信息与视觉上下文及问题语义整合的能力。
该任务的引入是为了解决早期VQA数据集中的空白，这些数据集通常包含几乎没有有意义文本的图像。TextVQA要求系统不仅检测和识别文本，还要推理其与问题的相关性，这通常涉及空间推理（例如，“门上写着什么？”）或常识推断（例如，根据标志判断“这是什么类型的商店？”）。该基准推动了多模态学习的重大研究，特别是在开发能够联合处理视觉特征、OCR标记和语言表示的架构方面。
数据集与基准
TextVQA数据集于2019年由佐治亚理工学院和Facebook AI Research（现为Meta AI的一部分）的研究人员发布。它包含4,972张图像上的28,408个问题，图像来源于Open Images数据集。每张图像至少包含一个文本单词，问题设计为需要阅读该文本才能正确回答。数据集分为训练集（34,602个问题）、验证集（5,000个问题）和测试集，测试集通过在线服务器用于官方评估。
问题是开放式的，需要简短答案，通常为一到三个单词。数据集包含每张图像的ground-truth OCR注释，提供单词边界框和识别出的文本。这允许模型使用显式OCR监督进行训练，或使用预提取的OCR特征。评估指标是标准VQA准确率，如果预测答案与十个人类提供的ground-truth答案之一匹配，则视为正确。
模型架构
早期TextVQA方法使用模块化流水线，将预训练的OCR系统（如Rosetta或Tesseract）与神经网络结合用于推理。一种常见架构是Look, Read, Reason, Answer（LoRRA）模型，它使用残差网络提取图像特征，使用双向LSTM编码问题，并使用多模态融合层结合视觉、文本和OCR特征。LoRRA还引入了复制机制，允许模型直接从OCR标记输出单词，这对于回答需要逐字文本的问题非常有效。
后续模型利用了基于Transformer的架构，如M4C（Multimodal Multi-Copy Mesh），它引入了迭代答案解码过程和多重复制机制来处理多个OCR标记。后来，统一的视觉语言模型，如基于大型语言模型的系统（例如，LLaVA、Flamingo），通过在该数据集上微调被适配用于TextVQA，利用大规模图像-文本对预训练实现了更高准确率。
挑战与评估
TextVQA提出了几个独特挑战。首先，自然场景中的OCR因字体多样、光照、遮挡和透视畸变而困难。其次，模型必须确定哪些文本与问题相关，因为图像通常包含多个文本实例。第三，推理可能需要将文本与视觉线索结合，例如识别标志的颜色或标签的位置。第四，某些问题需要基于文本进行算术或时间推理（例如，根据标志判断“商店几点关门？”）。
评估在测试集上进行，模型按准确率排名。截至2024年，最先进的模型达到约80%的准确率，而早期基线约为40%。该基准也已扩展到相关任务，如OCR-VQA和ST-VQA，这些任务侧重于不同上下文中的场景文本理解。
影响与应用
TextVQA影响了多模态AI系统的发展，特别是在文档理解和辅助技术方面。应用包括帮助视障用户阅读标志或标签、自动化表单处理，以及增强对带文本图像进行索引的搜索引擎。该任务还推动了对交叉注意力机制和位置编码用于空间文本定位的研究。
该基准在学术研究和工业界广泛使用，谷歌DeepMind、OpenAI等实验室将其作为评估视觉语言模型的测试平台。它也被整合到更广泛的基准中，如人工智能推理套件，有助于理解模型如何处理带有文本线索的多模态推理。
相关任务与数据集
TextVQA是场景文本理解任务家族的一部分。相关数据集包括ST-VQA（场景文本视觉问答），它侧重于不同图像分布下的基于文本的推理，以及OCR-VQA，它使用书籍封面图像并询问关于标题和作者的问题。这些基准共同推动了机器学习在将OCR与高层推理结合方面的边界。
未来方向
TextVQA的未来工作可能涉及更稳健的多语言文本处理、与能生成更长答案的生成式AI模型的更好集成，以及对未见领域的更好泛化。研究人员还在探索如何通过解释推理步骤使模型更具可解释性，以及如何通过无标签文本图像上的自监督学习减少对大型标注数据集的依赖。