VQA 2.0은 이미지에 대한 자연어 질문에 시스템이 답해야 하는 인공지능 작업인 시각 질의응답(VQA)을 위한 대규모 데이터셋이다. 2017년 버지니아 공대와 마이크로소프트 리서치의 연구자들이 공개한 VQA 2.0은 전신인 VQA 데이터셋의 치명적 결함을 해결하기 위해 설계되었다. 기존 모델들은 이미지를 전혀 보지 않고도 질문과 답변의 통계적 규칙성을 이용해 정답을 맞히는 경우가 많았다. VQA 2.0은 각 질문에 서로 다른 답변을 가진 두 개의 이미지를 짝지어 모델이 성공하려면 시각적 내용을 진정으로 이해해야 하도록 강제함으로써 이 문제를 완화한다. 이 데이터셋은 트랜스포머와 대규모 언어 모델 기반 모델을 포함한 비전-언어 모델을 평가하는 표준 벤치마크가 되었다.
2015년에 도입된 원래 VQA 데이터셋은 마이크로소프트 COCO 데이터셋의 20만 개 이상의 이미지와 60만 개 이상의 질문을 포함했으며, 각 질문에는 여러 개의 정답이 있었다. 그러나 이 데이터셋은 강한 언어 편향을 지녔다. 예를 들어 "바나나의 색깔은 무엇인가?"라는 질문은 훈련 세트에서 거의 항상 "노란색"이라는 답을 가졌기 때문에, 모델은 이미지를 처리하지 않고도 정답을 맞힐 수 있었다. 2017년에 공개된 VQA 2.0은 이미지마다 다른 답변을 갖는 보완 질문을 추가하여 질문 수를 110만 개 이상으로 두 배로 늘렸다. 구체적으로, 원래 데이터셋의 각 질문에 대해 제작자들은 동일한 질문에 대한 답변이 두 이미지 간에 서로 다르도록 두 번째 이미지를 추가했다. 이러한 균형 잡힌 설계는 언어만 사용하는 지름길의 효과를 줄이고 시각적 정보와 텍스트 정보를 통합하는 모델 개발을 장려한다.
데이터셋 구성 및 구조
VQA 2.0은 여러 객체와 상호작용이 있는 복잡한 장면을 포함하는 마이크로소프트 COCO 데이터셋의 이미지로 구성된다. 질문은 개방형이며 객체 존재, 색상, 개수 세기, 공간 관계 등 다양한 범주를 다룬다. 각 질문에는 인간 주석자들이 수집한 10개의 정답이 함께 제공되어 합의 기반 정확도 지표로 평가할 수 있다. 데이터셋은 훈련, 검증, 테스트 세트로 나뉘며, 테스트 세트는 벤치마킹을 위해 test-dev와 test-standard로 더 세분화된다. 공식 평가 서버는 연구자들이 숨겨진 테스트 세트에서 모델을 비교할 수 있게 하여 공정한 비교를 보장한다.
VQA 2.0의 균형 잡힌 설계는 더 도전적인 벤치마크가 되게 했다. 예를 들어, 언어 사전 지식에 의존하는 모델은 어떤 바나나 질문에도 "노란색"이라고 답할 수 있지만, VQA 2.0에는 바나나가 녹색이나 갈색인 이미지가 포함되어 있어 모델이 실제로 이미지를 봐야 한다. 이는 모델이 언어를 시각적 증거에 근거해야 하므로 시각적 추론에서 상당한 진전을 가져왔다.
시각 질의응답 연구에 미친 영향
VQA 2.0은 시각 질의응답 분야에서 가장 널리 사용되는 벤치마크 중 하나가 되었다. 초기 신경망 아키텍처부터 현대 트랜스포머 기반 비전-언어 모델에 이르기까지 다양한 모델을 평가하는 데 사용되었다. 이 데이터셋은 또한 컴퓨터 비전 학회에서 매년 개최되는 시각 질의응답 챌린지와 같은 여러 후속 과제를 탄생시켰다. Transformer (architecture) 아키텍처와 대규모 언어 모델 기반 모델을 포함한 많은 최첨단 모델이 VQA 2.0에서의 성능을 핵심 지표로 보고한다.
VQA 2.0의 주목할 만한 영향 중 하나는 AI 데이터셋에서 편향을 줄이는 것의 중요성을 부각시킨 역할이다. 균형 잡힌 설계는 시각적 함의와 시각적 추론 같은 다른 영역에서도 유사한 접근 방식을 고무했다. 연구자들은 또한 VQA 2.0을 사용하여 모델 해석 가능성을 연구하며, 질문에 답할 때 모델이 이미지의 어느 부분에 주목하는지 분석한다.
한계 및 비판
개선에도 불구하고 VQA 2.0은 한계가 없는 것은 아니다. 일부 비평가들은 데이터셋이 여전히 일반적인 객체와 속성에 질문이 집중되는 경향 같은 편향을 포함한다고 주장한다. 또한 개방형 답변 공간은 모델이 인간 답변 세트와 비교되는 자유 형식 답변을 생성해야 하므로 평가를 어렵게 만든다. 모든 답변을 동등하게 취급하는 정확도 지표는 추론의 질을 완전히 포착하지 못할 수 있다. 더 나아가 VQA 2.0은 주로 인식과 단순 추론을 테스트하며, 상식이나 추상적 추론 같은 고차원적 인지 능력을 적절히 측정하지 못할 수 있다.
또 다른 비판은 VQA 2.0이 균형 잡힌 설계에도 불구하고 데이터의 통계적 패턴을 이용하는 모델에 의해 "게임"될 수 있다는 점이다. 예를 들어, 모델은 반대 증거가 강하지 않는 한 "Is there"로 시작하는 질문에 "예"라고 답하는 법을 배울 수 있다. 이러한 문제를 해결하기 위해 연구자들은 언어 편향을 더 줄이기 위해 데이터를 재분할한 VQA-CP(변화하는 사전 지식 하의 VQA) 같은 더 도전적인 벤치마크를 제안했다.
현대 비전-언어 모델과의 관계
OpenAI, Google DeepMind, Anthropic이 개발한 것과 같은 대규모 비전-언어 모델의 부상과 함께 VQA 2.0은 표준 평가 도구가 되었다. 종종 트랜스포머 아키텍처를 기반으로 하고 대규모 이미지-텍스트 쌍으로 사전 훈련된 이러한 모델은 VQA 2.0에서 높은 정확도를 달성하며, 특정 질문 유형에서는 인간 성능을 초과하기도 한다. 그러나 이 벤치마크는 희귀 객체 처리나 복잡한 공간 추론 같은 약점을 진단하는 데 여전히 유용하다. 2025년 현재 VQA 2.0은 Generative AI와 다중 모달 학습에 관한 논문에서 계속 인용되며 컴퓨터 비전과 자연어 처리 사이의 다리 역할을 하고 있다.
이 데이터셋은 또한 여러 작업에 걸쳐 AI 시스템의 능력을 평가하는 것을 목표로 하는 OpenPanel 및 기타 AI 벤치마킹 이니셔티브 같은 더 넓은 평가 제품군에 통합되었다. VQA 2.0의 균형 잡힌 설계는 구성적 추론에 초점을 맞춘 GQA와 CLEVR 같은 새로운 데이터셋 생성에 영향을 주었다.
결론
VQA 2.0은 시각 질의응답 시스템 평가에서 중요한 진전을 나타낸다. 초기 데이터셋에 내재된 언어 편향을 해결함으로써 이 분야를 더 견고하고 시각적으로 근거한 모델로 이끌었다. 그 영향은 특정 작업을 넘어 AI 연구의 데이터셋 설계와 평가 관행에 영향을 미친다. 비전-언어 모델이 계속 진화함에 따라 VQA 2.0은 여전히 관련성 있고 도전적인 벤치마크로 남아 있으며, AI의 진전이 단순한 패턴 인식이 아니라 시각적 세계에 대한 진정한 이해로 측정되도록 보장한다.