VizWiz는 시각 질의응답(VQA)을 위한 대규모 데이터셋이자 벤치마크로, 시각 장애인 및 저시력자가 제기한 실제 세계의 질문에서 비롯되었다. 인터넷의 이미지와 정상 시력 주석자의 질문을 포함하는 기존 VQA 데이터셋과 달리, VizWiz는 일상 환경에서 시각 장애 사용자가 촬영한 이미지와 음성 질문을 수집하여 실제 사용자 요구를 포착한다. 이 데이터셋은 2018년 카네기 멜론 대학교와 마이크로소프트 리서치의 연구자들에 의해 소개되었으며, 이후 접근성 중심 AI 시스템의 표준 평가 세트가 되었다.
VizWiz의 주요 목표는 시각 장애 사용자가 시각적 콘텐츠를 이해하도록 돕는 인공지능 시스템을 발전시키는 것이다. 이 벤치마크는 질의응답 작업뿐만 아니라 질문이 이미지에서 답변 가능한지 예측하는 보조 작업도 포함하며, 이는 많은 사용자 제출 이미지가 흐릿하거나, 프레임이 잘못되었거나, 그 외에 불충분한 경우가 많다는 실제 현실을 반영한다. VizWiz는 학계와 산업계에서 모델을 훈련하고 평가하는 데 사용되었으며, 특히 시각과 언어 모델의 통합에서 다중 모달 학습의 발전을 이끌었다.
데이터셋 구성 및 수집
VizWiz 데이터셋은 시각 장애 사용자가 사진을 찍고 그에 대한 음성 질문을 녹음할 수 있는 모바일 애플리케이션을 통해 수집되었다. 각 샘플은 이미지, 텍스트로 전사된 음성 질문, 그리고 여러 인간 주석 답변으로 구성된다. 2018년의 초기 릴리스에는 8,000명 이상의 시각 장애 사용자로부터 31,000개 이상의 시각 질문이 포함되었으며, 각 질문은 정상 시력 주석자로부터 10개의 답변을 받았다. 공정한 벤치마킹을 위해 별도의 검증 세트와 테스트 세트가 생성되었으며, 테스트 세트는 공개 평가를 위해 보류되었다.
VizWiz의 독특한 특징은 답변 불가능한 질문을 포함한다는 점이다. 데이터셋의 질문 중 약 30%는 이미지 품질 저하 또는 맥락 부족으로 인간 주석자가 답변 불가능하다고 판단한다. 이 측면은 VizWiz를 일반적인 VQA 데이터셋보다 더 어렵게 만들며, 모델이 자신의 한계를 인식해야 할 필요성을 강조한다. 이는 실제 보조 애플리케이션에서 중요한 능력이다.
벤치마크 작업 및 평가
VizWiz의 주요 작업은 시각 질의응답으로, 모델은 이미지와 질문이 주어졌을 때 올바른 답변을 생성해야 한다. 평가는 표준 VQA 정확도 지표를 사용하며, 답변이 인간 제공 답변 10개 중 최소 3개와 일치하면 정답으로 간주한다. 또한 VizWiz는 답변 가능성에 대한 이진 분류 작업을 도입했으며, 모델은 질문이 이미지에서 답변 가능한지 예측해야 한다. 이러한 이중 작업 설정은 정확한 답변을 제공하고 필요할 때 기권할 수 있는 시스템 개발을 장려한다.
출시 이후 VizWiz는 기계 학습 커뮤니티에서 주요 벤치마크가 되었으며, 많은 논문이 이에 대한 결과를 보고했다. 신경망 아키텍처와 딥러닝 기술에 기반한 초기 모델은 적당한 정확도를 달성했지만, 트랜스포머 기반 모델과 대규모 언어 모델의 등장으로 상당한 개선이 이루어졌다. 2025년 기준, 다중 모달 트랜스포머를 사용하는 최첨단 시스템은 답변 가능한 질문의 70% 이상을 정확히 답변할 수 있지만, 답변 불가능한 질문에 대한 성능은 여전히 과제로 남아 있다.
접근성 및 보조 기술에 미치는 영향
VizWiz는 시각 장애 사용자를 위한 보조 기술 개발에 직접적인 영향을 미쳤다. 이 데이터셋은 실시간으로 텍스트를 읽고, 객체를 식별하고, 장면을 설명할 수 있는 모바일 애플리케이션을 구동하는 모델을 훈련하는 데 사용되었다. 구글 딥마인드와 오픈AI 같은 회사는 다중 모달 AI 연구에서 VizWiz를 인용했으며, 이 벤치마크는 상용 시각-언어 시스템 평가에 자주 포함된다.
이 데이터셋은 또한 객체 위치 파악 작업을 지원하기 위해 공간적 근거 주석을 추가하는 VizWiz-VQA-Grounding과 같은 관련 리소스의 생성을 촉발했다. 이 확장은 모델이 질문에 답변할 뿐만 아니라 이미지의 관련 영역을 가리킬 수 있게 하여, 화면 판독기나 햅틱 피드백에 의존하는 시각 장애 사용자에게 유용성을 더욱 향상시킨다.
과제 및 한계
유용성에도 불구하고 VizWiz에는 한계가 있다. 이 데이터셋은 영어 사용자에게 편향되어 있으며 주로 초기 수집 기간의 인구 통계를 반영한다. 이미지는 종종 저해상도이고 노이즈가 많아 모델 성능을 저해할 수 있지만, 이는 실제 세계 조건을 반영하기도 한다. 또한 답변 가능성 작업은 주관적이며, 주석자마다 질문이 답변 가능한지에 대해 의견이 다를 수 있어 라벨 노이즈가 발생한다.
연구자들은 또한 VizWiz가 시각 장애의 다양성이나 보조 요구의 범위를 완전히 포착하지 못한다고 지적했다. 향후 작업은 더 많은 언어, 다양한 이미지 조건, 더 풍부한 주석으로 데이터셋을 확장하는 것을 목표로 한다. 그럼에도 불구하고 VizWiz는 접근성 맥락에서 AI 시스템을 평가하기 위한 기초 리소스로 남아 있으며, 실제 사용자 질문에 대한 강조는 인간 중심 AI 설계에 계속 영향을 미치고 있다.
향후 방향
생성형 AI와 다중 모달 모델이 진화함에 따라 VizWiz는 중요한 테스트베드로 남을 가능성이 높다. 대규모 언어 모델과 비전 인코더의 통합은 이미 답변 품질을 개선했으며, 지속적인 연구는 이러한 시스템을 노이즈 입력에 더 강건하게 만들고 답변 불가능한 질문을 더 잘 처리하는 데 초점을 맞추고 있다. 이 벤치마크는 또한 일상 작업에서 AI에 의존하는 사용자와의 신뢰 구축에 중요한 추론 과정을 설명할 수 있는 모델 개발을 장려한다.
카네기 멜론 대학교와 마이크로소프트 리서치가 관련된 학계와 산업계 간의 협력은 접근성 AI의 개선을 계속 주도하고 있다. VizWiz는 AI 벤치마크가 기술적 참신성뿐만 아니라 실제 인간 요구를 반영해야 한다는 점을 상기시키며, 오디오 캡셔닝 및 촉각 감지와 같은 다른 영역에서도 유사한 노력에 영감을 주었다. 2025년 현재, VizWiz는 보조 목적의 시각 질의응답에서 진행 상황을 측정하는 표준 참조 지점으로 남아 있다.