InfographicVQA是一个为视觉问答（VQA）设计的基准数据集，其对象是信息图，即结合文本、图表、图标和其他图形元素来传达信息的复杂视觉文档。与自然图像不同，信息图对人工智能系统提出了独特的挑战，因为它们需要对文本内容、视觉布局以及条形图、饼图和流程图等数据表示进行联合推理。该数据集于2022年由研究人员引入，旨在推动人工智能和机器学习系统中多模态理解的边界。
InfographicVQA的主要目标是评估并提升人工智能模型回答问题的能力，这些问题需要综合信息图中的文本和图形组件信息。例如，一个问题可能问：“饼图中显示的可再生能源百分比是多少？”这要求模型定位图表、提取相关数据，并将其映射到问题的意图。这超越了专注于自然图像的标准VQA任务，因为信息图通常包含密集、结构化的信息，而这些信息在典型照片中并不存在。
数据集构成与标注
InfographicVQA数据集包含超过5,000张信息图，收集自各种公共来源，包括教育网站、新闻文章和政府报告。每张信息图都配有一组问答对，总计超过30,000个问题。这些问题旨在涵盖多种推理类型，包括简单查找、算术运算、比较和推断。标注由人类标注者完成，他们被指示生成需要理解视觉和文本元素的问题，以确保基准无法被仅文本或仅图像模型轻易解决。
数据集被划分为训练集、验证集和测试集，典型比例为70%用于训练、10%用于验证、20%用于测试。测试集保持私有以防止过拟合，评估通过在线服务器进行，该服务器基于精确匹配计算准确率，并采用允许同义词和释义的宽松指标。
挑战与评估指标
InfographicVQA对人工智能模型提出了若干独特挑战。首先，信息图的视觉复杂性要求模型处理各种布局、字体和配色方案。其次，问题通常需要多步推理，例如读取标签、定位相应数据点并执行计算。第三，文本和图形的并存意味着模型必须有效融合来自多种模态的信息，这是多模态深度学习中的核心问题。
评估主要基于准确率，定义为模型预测答案与真实答案完全匹配的问题百分比。此外，还使用一种更宽松的指标，称为“WUPS”（Wu-Palmer相似度），用于衡量预测答案与真实答案之间的语义相似性，允许部分得分。截至2024年，最先进的模型达到约50-60%的精确匹配准确率，表明仍有显著改进空间。
与其他VQA基准的关系
InfographicVQA是更广泛的VQA基准家族的一部分，但它特别针对文档理解。它补充了其他数据集，如专注于自然图像中文本的TextVQA，以及针对扫描文档的DocVQA。关键区别在于，信息图旨在视觉上吸引人且信息密集，通常使用图形元素来编码数据，这需要不同于阅读纯文本的技能。这使得InfographicVQA成为开发能够处理结构化视觉信息的大型语言模型和基于Transformer架构的宝贵测试平台。
应用与影响
在InfographicVQA上表现良好的模型的开发在自动化文档分析、为视力受损用户提供的无障碍工具以及教育技术等领域具有实际应用。例如，能够回答关于信息图问题的人工智能系统可以帮助学生从视觉材料中学习，或协助专业人士快速从数据丰富的报告中提取见解。该基准还推动了多头注意力机制和交叉注意力技术的研究，这些技术对于对齐视觉和文本特征至关重要。
未来方向
InfographicVQA的未来工作可能涉及扩展数据集以包含更多样化的信息图类型，例如交互式或动画信息图，并纳入需要外部知识的更复杂推理任务。此外，人们有兴趣开发不仅能回答问题，还能为其答案生成解释的模型，这将增强可解释性和信任度。随着生成式人工智能的持续进步，将InfographicVQA与能够统一处理视觉和语言的神经网络架构相结合，仍是一个活跃的研究领域。