VizWiz是一个大规模视觉问答（VQA）数据集和基准，源自盲人和低视力人士提出的真实世界查询。与通常包含互联网图像和视力正常标注者问题的传统VQA数据集不同，VizWiz通过收集盲人用户在日常环境中的图像和语音问题，捕捉了真实的用户需求。该数据集于2018年由卡内基梅隆大学和微软研究院的研究人员引入，此后已成为面向无障碍AI系统的标准评估集。
VizWiz的主要目标是推进能够帮助盲人用户理解视觉内容的Artificial intelligence系统。该基准不仅包括问答任务，还包含一个预测问题是否可从图像回答的伴随任务，这反映了现实情况，即许多用户提交的图像模糊、构图不佳或信息不足。VizWiz已被用于学术和工业环境中的模型训练与评估，推动了多模态学习的进展，特别是在视觉与语言模型集成方面。
数据集构成与收集
VizWiz数据集通过一款移动应用收集，该应用允许盲人用户拍摄照片并录制关于照片的语音问题。每个样本包含一张图像、一个转录为文本的语音问题，以及多个人工标注的答案。2018年的初始版本包含来自8000多名盲人用户的超过31000个视觉问题，每个问题由视力正常的标注者提供10个答案。为公平基准测试，还创建了单独的验证集和测试集，其中测试集保留用于公开评估。
VizWiz的一个显著特点是包含无法回答的问题。数据集中约30%的问题因图像质量差或上下文缺失而被人工标注者判定为无法回答。这一方面使VizWiz比典型VQA数据集更具挑战性，并凸显了模型识别自身局限性的需求，这是现实世界辅助应用中的关键能力。
基准任务与评估
VizWiz的主要任务是视觉问答，模型必须根据图像和问题生成正确答案。评估使用标准VQA准确率指标，若答案与十个人工提供的答案中至少三个匹配，则视为正确。此外，VizWiz引入了可回答性的二元分类任务，模型必须预测问题是否可从图像回答。这种双任务设置鼓励开发既能提供准确答案又能在必要时弃权的系统。
自发布以来，VizWiz一直是Machine learning社区的关键基准，众多论文报告了其结果。基于Neural network架构和Deep learning技术的早期模型取得了中等准确率，但Transformer (architecture)模型和Large language model的出现带来了显著改进。截至2025年，使用多模态Transformer的最先进系统能正确回答超过70%的可回答问题，但在不可回答问题上的表现仍具挑战。
对无障碍与辅助技术的影响
VizWiz对盲人用户辅助技术的发展产生了直接影响。该数据集已用于训练支持移动应用的模型，这些应用能够实时读取文本、识别物体和描述场景。Google DeepMind和OpenAI等公司在其多模态AI研究中引用了VizWiz，该基准也常被纳入商业视觉语言系统的评估中。
该数据集还催生了相关资源的创建，如VizWiz-VQA-Grounding，它添加了空间定位标注以支持物体定位任务。这一扩展使模型不仅能回答问题，还能指向图像中的相关区域，进一步增强依赖屏幕阅读器或触觉反馈的盲人用户的可用性。
挑战与局限
尽管VizWiz具有实用性，但它存在局限性。该数据集偏向英语使用者，主要反映初始收集时期的人口统计特征。图像通常分辨率低且带有噪声，这可能阻碍模型性能，但也反映了现实世界条件。此外，可回答性任务具有主观性，不同标注者可能对问题是否可回答存在分歧，导致标签噪声。
研究人员还指出，VizWiz并未完全涵盖视觉损伤的多样性或辅助需求的广泛范围。未来工作旨在扩展数据集，增加更多语言、多样的图像条件和更丰富的标注。尽管如此，VizWiz仍是评估无障碍背景下AI系统的基础资源，其对真实用户查询的强调持续影响着以人为本AI的设计。
未来方向
随着Generative AI和多模态模型的演进，VizWiz很可能仍是一个关键测试平台。Large language model与视觉编码器的集成已提高了答案质量，当前研究聚焦于使这些系统对噪声输入更鲁棒，并更好地处理不可回答问题。该基准还鼓励开发能解释推理过程的模型，这对建立依赖AI完成日常任务的用户的信任至关重要。
学术界与工业界的合作，如涉及Carnegie Mellon University和微软研究院的合作，持续推动无障碍AI的改进。VizWiz提醒我们，AI基准应反映真实的人类需求，而非仅仅是技术新颖性，它已启发了其他领域的类似努力，如音频字幕和触觉感知。截至2025年，VizWiz仍是衡量辅助用途视觉问答进展的标准参考点。