DocVQA（文档视觉问答）是一个基准数据集，旨在评估人工智能系统回答关于文档图像内容问题的能力。与专注于自然场景的传统视觉问答（VQA）不同，DocVQA针对文档的独特挑战，这些文档结合了文本内容、复杂布局、表格、图形和多样的排版。该任务要求模型不仅能够阅读文本，还要理解空间排列和视觉线索，以定位并综合出正确答案。
该数据集于2020年由巴斯克大学（UPV/EHU）和阿利坎特大学的研究人员引入，由Ruben Tito及其同事领导。创建该数据集的目的是填补现有基准的空白，这些基准要么侧重于自然图像，要么侧重于纯文本提取而缺乏推理组件。DocVQA自此成为文档理解进展的标准参考点，推动了结合视觉和语言处理的多模态模型的发展。
数据集构成
DocVQA数据集包含超过50,000个问题，源自12,000多个单独的文档页面。这些文档来自多样化的行业和格式，包括学术论文、商业报告、发票、表单和技术手册。每个问题都配有一个真实答案，答案可以是短语、数字、日期或项目列表。问题设计需要不同层次的理解，从简单的文本检索（例如，“发票号码是多少？”）到更复杂的推理，涉及结合文档多个部分的信息（例如，“表格中列出的所有项目的总成本是多少？”）。
数据集分为训练集、验证集和测试集。训练集包含约41,000个问题，验证集约5,000个，测试集约5,000个。测试集被保留用于官方评估，结果在公开排行榜上报告。问题按类型分类，包括是/否、数字、日期和短语答案，从而可以对模型在不同问题格式上的表现进行细粒度分析。
评估指标
DocVQA上的性能主要使用平均归一化莱文斯坦相似度（ANLS）指标来衡量。与精确匹配准确率不同，ANLS对轻微拼写错误或措辞的细微变化具有容忍度，这对于文档理解更为现实，因为OCR（光学字符识别）错误或格式差异可能发生。ANLS分数范围从0到1，其中1表示预测答案与真实答案完全一致。该指标对错误答案的惩罚比部分匹配更重，提供了模型质量的稳健度量。
除了ANLS，一些研究还报告精确匹配准确率作为次要指标。官方排行榜按ANLS分数对提交进行排名，截至2024年，顶级模型的分数超过0.90，表明在基准上接近人类水平的表现。然而，这些高分通常来自大型、计算密集型的模型，并且基准性能与现实世界鲁棒性之间仍存在差距。
与其他基准的关系
DocVQA是更广泛的文档理解基准家族的一部分，包括用于纯文本问答的SQuAD和用于自然图像的Visual QA。它与OCR、关键信息提取和布局分析等其他文档特定任务密切相关。该基准启发了衍生数据集，如InfographicVQA和ChartQA，这些数据集专注于更专门的文档类型。在人工智能和机器学习的背景下，DocVQA作为集成神经网络架构（特别是基于Transformer模型）的多模态系统的测试平台。
具有视觉能力的大型语言模型（LLM）的兴起，例如由OpenAI、Anthropic和Google DeepMind开发的模型，导致了对DocVQA的新兴趣。这些模型通常基于编码器-解码器或多头注意力机制，在DocVQA上进行评估以基准测试其文档推理能力。该基准也被用于评估来自Amazon Web Services和Google Cloud等公司的专门文档AI系统的性能，这些公司提供文档处理服务。
挑战与局限性
尽管使用广泛，DocVQA存在几个局限性。数据集主要使用英语，这限制了其对多语言文档理解的适用性。文档相对干净且扫描良好，而现实世界的文档通常包含噪声、手写或复杂的配色方案。此外，问题由人类标注者生成，可能无法覆盖所有可能的推理类型，可能使模型偏向某些模式。该基准也没有明确测试对对抗性扰动或领域转移的鲁棒性，这对于生产环境中的部署很重要。
另一个挑战是实现高分的计算成本。许多顶级模型依赖于大规模预训练，这并非所有研究团队都可行。这导致了对更高效架构和训练方法的兴趣日益增长，例如模型剪枝和数据增强，以使文档理解更加可及。
未来方向
文档视觉问答领域正在快速发展。未来的工作可能侧重于将DocVQA扩展到其他语言和文档类型，纳入更复杂的推理任务，并提高模型的可解释性。此外，还有推动零样本和少样本学习的趋势，使模型能够在无需大量微调的情况下泛化到未见过的文档格式。随着生成式人工智能的持续进步，DocVQA仍然是确保AI系统能够可靠地阅读和推理全球文档中存储的大量信息的关键基准。