GQA（图问答）是一个用于视觉问答（VQA）的基准数据集，强调组合推理。它于2019年由斯坦福大学和多伦多大学的研究人员提出，旨在解决早期VQA数据集中的局限性，这些数据集往往包含偏差，使得模型无需真正理解图像就能正确回答。GQA提供了大规模的真实世界图像集合，并配以需要多步逻辑推理、空间推理和属性识别的问题，使其成为对AI系统的严格测试。
该数据集基于Visual Genome数据集构建，利用其详细的场景图。这些图表示图像中的对象、属性和关系，使得能够自动生成既多样又语义受控的问题。GQA包含超过113,000张图像的超过2200万个问题，每个问题都附带一个功能程序，指定得出答案所需的推理步骤。这种设计允许对模型执行特定类型推理的能力进行细粒度评估，例如比较属性、计数对象或理解空间关系。
组合结构
GQA的核心创新在于其组合式问题生成。该数据集不依赖人工标注者编写问题，而是使用基于语法的方法，将场景图元素组合成复杂查询。例如，像“猫是否在棕色的狗的左边？”这样的问题要求模型首先识别棕色的狗，然后确定其与猫的空间关系。这种组合性质确保问题不仅仅是简单的模式匹配，而是需要对图像内容的真正理解。
GQA中的每个问题都与一个语义程序相关联，该程序是一系列操作，如“过滤”、“关联”、“计数”或“比较”。这些程序作为推理过程的真实依据，使研究人员能够分析模型失败的地方。数据集还包括一个平衡分割，减少了答案偏差，确保每种答案类型在问题中出现的频率相似，这迫使模型依赖视觉证据而非统计捷径。
评估与指标
GQA主要使用准确率进行评估，但其设计允许更细粒度的指标。研究人员可以评估特定问题类型的性能，如“验证”（是/否）、“选择”（多项选择）、“查询”（属性或关系）和“逻辑”（涉及合取、析取或否定）。这种分解有助于识别模型推理中的优缺点。例如，一个模型可能擅长简单的属性查询，但在多跳空间推理上表现不佳。
数据集还提供了“一致性”指标，衡量模型是否对语义等价的问题给出相同答案。这很重要，因为一个模型在一个表述上猜对了但在另一个表述上猜错了，可能并未真正理解潜在概念。GQA的平衡设计和程序标注使其成为Machine learning社区中的标准基准，通常与其他VQA数据集如VQA v2和CLEVR一起使用。
对AI研究的影响
GQA影响了Neural network架构在视觉推理中的发展。许多模型，包括基于Transformer (architecture)和Large language model框架的模型，已在GQA上评估，以测试其整合视觉和文本信息的能力。该数据集突显了纯注意力方法的局限性，这些方法可能捕捉相关性但在系统推理上失败。这推动了模块化网络、图神经网络和神经符号方法的研究，这些方法显式建模问题的组合结构。
在Deep learning和Artificial intelligence的背景下，GQA作为一个具有挑战性的基准，推动了视觉理解的边界。它已被用于众多学术论文和竞赛中，有助于更好地理解如何构建能够推理视觉世界的AI系统。截至2020年代中期，该数据集仍然相关，持续努力改进模型性能并将其原则扩展到视频和3D领域。
局限性与批评
尽管有其优势，GQA仍存在局限性。问题是从场景图生成的，这可能无法捕捉自然语言的全部复杂性或现实世界的歧义。一些批评者认为数据集仍然包含偏差，例如某些对象类别或空间关系的过度表示。此外，对Visual Genome图像的依赖，这些图像偏向日常场景，可能无法泛化到医学成像或自动驾驶等专业领域。
另一个担忧是，功能程序虽然对分析有用，但在现实应用中的推理时并不总是可用。在GQA上训练的模型可能过度拟合特定的问题结构，可能限制其对更开放式VQA任务的泛化。研究人员已提出扩展和变体来解决这些问题，但GQA仍然是组合推理的基础基准。
未来方向
GQA背后的原则正在以多种方式扩展。更新的数据集包含更多样化的问题类型，如反事实推理或因果推断。也有兴趣将GQA风格的评估应用于Generative AI模型，这些模型可以生成自由形式的答案，而不是从固定集合中选择。随着Large language model系统与视觉的整合加深，像GQA这样的基准对于评估这些模型是否真正理解场景或仅仅模仿推理模式至关重要。VQA基准的持续演进确保了GQA的遗产继续塑造视觉理解领域。
参考文献
- Hudson, D. A., & Manning, C. D. (2019). GQA: A New Dataset for Real-World Visual Reasoning and Compositional Question Answering. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
- Johnson, J., et al. (2017). CLEVR: A Diagnostic Dataset for Compositional Language and Elementary Visual Reasoning. CVPR.