Visual7W는 2016년 스탠포드 대학 연구진이 처음 발표한 시각적 질의응답(VQA) 및 시각적 근거(visual grounding)를 위한 벤치마크 데이터셋이다. 이 데이터셋은 Microsoft COCO에서 수집한 47,300개의 실제 이미지와 327,000개 이상의 질문-답변 쌍으로 구성되며, 각 쌍은 답변을 뒷받침하는 시각적 증거를 국소화하는 하나 이상의 경계 상자와 연결된다. 이 데이터셋은 근거(grounding)에 중점을 둔 점에서 주목할 만하며, 모델이 질문에 답할 뿐만 아니라 관련 이미지 영역을 식별해야 한다. 이는 해석 가능한 AI 시스템의 핵심 기능이다.
Visual7W라는 이름은 다루는 일곱 가지 질문 유형에서 유래했다: 무엇(what), 어디(where), 언제(when), 누가(who), 왜(why), 어떻게(how)이며, 객체 선택 작업을 다루기 위해 '어느 것(which)'이 일곱 번째 범주로 추가되었다. 주로 객체 인식에 초점을 맞춘 초기 VQA 데이터셋과 달리, Visual7W는 장면의 인과 관계와 절차적 관계에 대한 추론을 요구하는 '왜'와 '어떻게' 질문을 상당 부분 포함한다. 이러한 설계는 지각과 고차원적 인지를 연결하기 때문에 딥러닝 모델에 대한 엄격한 시험대가 된다.
데이터셋 구조
Visual7W는 객관식 QA와 주관식 QA의 두 가지 주요 구성 요소로 구성된다. 객관식 하위 집합은 질문당 네 개의 후보 답변을 제공하는 반면, 주관식 하위 집합은 자유 형식 생성을 요구한다. 각 질문에는 답변이 포함된 이미지 영역 주변의 경계 상자인 근거 상자(grounding box)가 주석으로 달려 있다. 데이터셋은 훈련, 검증, 테스트 집합으로 분할되며, 테스트 집합은 공개 부분과 공식 평가에 사용되는 비공개 부분으로 나뉜다.
모든 이미지는 Microsoft COCO 데이터셋에서 가져와 일상적인 객체와 활동이 포함된 다양한 장면을 보장한다. 주석은 Amazon Mechanical Turk를 통해 수집되었으며, 모호하거나 부정확한 질문을 걸러내기 위한 품질 관리 조치가 적용되었다. 평균 질문 길이는 약 8단어이고, 어휘는 약 4,000단어를 포함하여 신경망 모델에게는 간결하지만 도전적인 언어 공간을 제공한다.
작업 구성
Visual7W의 주요 작업은 시각적 근거로, 모델이 이미지와 질문을 받아 답변과 경계 상자를 모두 출력해야 한다. 이는 결합 예측 문제로 공식화된다. 모델은 질문에 답하는 영역을 찾은 다음 해당 영역을 기반으로 답변을 분류하거나 생성해야 한다. 평가 지표에는 답변 정확도와 근거 정확도가 포함되며, 근거는 예측 상자와 실제 상자 간의 교집합 대 합집합(IoU)으로 측정된다.
보조 작업은 근거 없이 시각적 질의응답을 수행하는 것으로, 이전 데이터셋과의 비교를 가능하게 한다. 그러나 근거 요구 사항은 모델이 이미지의 관련 부분에 집중하는 방법을 학습해야 하므로 Visual7W를 주의 메커니즘 연구에 특히 적합하게 만든다. 이는 이후 멀티헤드 어텐션 및 크로스 어텐션 계층을 사용하는 아키텍처에 영향을 주었으며, 이러한 계층은 현재 트랜스포머 기반 비전-언어 모델의 표준이 되었다.
벤치마크의 의의
Visual7W는 단순한 패턴 매칭을 넘어 상식 추론을 요구하는 '왜'와 '어떻게' 질문을 강조한 최초의 VQA 벤치마크 중 하나였다. 예를 들어, '그 사람이 왜 우산을 들고 있나요?'와 같은 질문은 날씨 맥락과 인과 추론에 대한 이해를 요구한다. 이는 해당 분야를 더 정교한 대규모 언어 모델과 비전-언어 사전 훈련 접근 방식으로 이끌었다.
이 데이터셋은 초기 잔차 네트워크와 순환 네트워크의 결합부터 현대 생성형 AI 시스템에 이르기까지 수많은 모델을 평가하는 데 사용되었다. 또한 Visual Genome 및 GQA와 같은 관계 추론의 범위를 확장한 더 큰 벤치마크의 선구자 역할을 했다. 스탠포드 AI 연구소 및 버클리 AI 연구와 같은 기관의 연구자들은 해석 가능성과 주의 시각화 기법을 테스트하기 위해 Visual7W를 사용했다.
한계 및 비판
기여에도 불구하고 Visual7W에는 알려진 한계가 있다. 근거 상자는 종종 참조된 특정 객체보다 더 넓은 영역을 덮을 정도로 거칠어서 근거 정확도를 부풀릴 수 있다. 또한 이 데이터셋은 특정 답변이 질문 유형과 상관관계를 보이는 언어 편향이 있어, 모델이 진정한 시각적 이해 없이 지름길을 악용할 수 있다. 게다가 '왜'와 '어떻게' 질문은 '무엇'과 '어디'에 비해 상대적으로 드물어 추론 평가의 깊이가 제한된다.
비평가들은 객관식 형식이 통계적 규칙성으로 공략될 수 있고, 주관식 답변이 정확한 문자열 일치로 평가되어 의미적으로는 정확하지만 다른 표현으로 바꾼 응답에 불이익을 준다고 지적했다. 이러한 문제는 이후 데이터셋에서 RLHF 스타일의 인간 피드백을 사용한 채점과 같은 더 견고한 평가 프로토콜의 개발을 촉진했다.
유산 및 영향
Visual7W는 특히 교육 목적과 주의 기반 모델의 벤치마킹을 위해 시각적 근거와 질의응답을 연구하는 데 여전히 귀중한 자원이다. 이 데이터셋의 근거 주석은 시각적 상식 추론 및 지시 표현 이해와 같은 작업에 재사용되었다. 해석 가능성에 대한 강조는 머신러닝의 설명 가능한 AI를 향한 광범위한 추세와 일치하며, 멀티모달 학습 및 데이터 증강 전략에 관한 연구에서 계속 인용되고 있다.
2020년대 중반 현재, 더 크고 복잡한 데이터셋의 등장으로 Visual7W는 주요 벤치마크로 덜 자주 사용되지만, 기본적인 VQA 능력을 평가하기 위한 표준 참고 자료로 남아 있다. 이 데이터셋의 설계 원칙은 근거가 중요한 자율주행 및 로봇공학용 데이터셋 생성에 영향을 주었다.