시각 질의 응답(VQA)은 시스템이 이미지에 대한 자연어 질문에 답변해야 하는 인공지능 작업이다. 이는 컴퓨터 비전과 자연어 처리의 교차점에 위치하며, 모델이 이미지의 객체, 장면, 활동을 인식할 뿐만 아니라 질문의 의미를 이해하고 시각적 내용에 대해 추론하여 올바른 답변을 생성해야 한다. VQA는 단순한 이미지 분류나 캡셔닝을 넘어서는 고수준의 시각적 이해와 추론을 위한 벤치마크로 간주된다.
이 작업은 일반적으로 입력 이미지와 자유 형식 텍스트의 질문을 포함하며, 예상 출력은 종종 단일 단어나 짧은 구절로 된 간결한 답변이다. VQA 시스템은 객체 존재, 색상, 개수, 공간 관계, 그리고 직접적으로 보이지 않는 것을 넘어서는 상식 추론에 이르기까지 다양한 질문 유형을 처리해야 한다. 이 분야는 2010년대 중반 대규모 데이터셋의 공개와 딥러닝 기법의 적용으로 큰 주목을 받았으며, 이후 멀티모달 AI 모델의 표준 평가 기준이 되었다.
데이터셋 및 벤치마크
2015년 버지니아 공대와 마이크로소프트 연구자들이 처음 공개한 VQA 데이터셋은 이 작업의 사실상 표준 벤치마크가 되었다. 원래 VQA 데이터셋은 마이크로소프트 COCO 데이터셋의 20만 개 이상의 이미지와 60만 개 이상의 질문을 포함했으며, 각 질문에는 인간 주석자가 수집한 여러 개의 정답이 짝지어졌다. 이 데이터셋은 객체 인식, 개수 세기, 공간 추론을 포함한 다양한 기술을 요구하도록 설계되었다. VQA 2.0과 같은 후속 버전은 모델이 이미지를 보지 않고 질문 패턴만으로 답변을 추측할 수 있는 언어 편향을 줄이기 위해 답변 분포를 균형 있게 조정했다. 다른 주목할 만한 벤치마크로는 객체, 속성, 관계의 밀집 주석을 제공하는 Visual Genome과, 단순한 3D 모양의 이미지를 생성하고 다단계 논리를 요구하는 질문을 통해 구성적 추론을 테스트하도록 설계된 합성 데이터셋인 CLEVR이 있다.
접근 방식 및 아키텍처
초기 VQA 시스템은 이미지 특징 추출을 위한 합성곱 신경망(CNN)과 질문 인코딩을 위한 순환 신경망(RNN) 또는 장단기 메모리(LSTM) 네트워크의 조합을 사용했다. 이러한 특징들은 종종 요소별 곱셈이나 연결을 통해 융합된 후 분류기를 통과하여 답변을 예측했다. 주요 돌파구는 주의 메커니즘의 도입으로, 모델이 질문에 따라 이미지의 관련 영역에 집중할 수 있게 되었다. 2017년에 도입된 트랜스포머 아키텍처는 시각적 및 텍스트 토큰의 통합 처리를 가능하게 하여 이 분야를 더욱 혁신했다. 비전-언어 사전 학습에 기반한 모델과 같은 현대 VQA 모델은 이미지-텍스트 쌍으로 사전 학습된 대규모 트랜스포머 모델을 사용한 후 VQA 데이터셋에 미세 조정한다. 이러한 모델은 종종 대규모 언어 모델과 통합되어 자유 형식 답변을 생성하고 복잡한 추론을 수행할 수 있으며, 때로는 VQA 데이터에 대한 명시적 미세 조정 없이도 가능하다.
과제 및 한계
상당한 진전에도 불구하고 VQA는 여전히 어려운 작업이다. 주요 문제 중 하나는 언어 편향으로, 모델이 이미지를 실제로 이해하지 않고 훈련 데이터의 통계적 규칙성을 활용하여 질문에 답변할 수 있다는 점이다. 예를 들어, 모델은 "몇 개"로 시작하는 질문에 대해 데이터셋에서 가장 흔한 답변이기 때문에 "2"라고 답할 수 있다. VQA 2.0 데이터셋은 각 질문에 서로 다른 답변을 가진 보완 이미지를 보장하여 이를 완화하기 위해 만들어졌다. 또 다른 과제는 구성적 일반화로, 모델이 알려진 개념의 새로운 조합을 요구하는 질문에 답변하는 데 어려움을 겪는다. 또한 VQA 시스템은 "왜 그 사람이 웃고 있나요?" 또는 "다음에 무슨 일이 일어날까요?"와 같은 외부 지식이나 상식 추론을 요구하는 질문에서 종종 실패한다. 적대적 예제와 분포 외 이미지에 대한 견고성도 우려 사항으로, 모델은 약간의 변형으로 쉽게 속을 수 있다.
응용 분야
VQA는 다양한 영역에서 실용적인 응용이 있다. 접근성 측면에서 시각 장애인이 표지판 읽기나 객체 식별과 같은 주변 환경에 대한 질문을 통해 도움을 받을 수 있다. 인간-컴퓨터 상호작용에서 VQA는 사용자가 채팅이나 검색 시스템에서 이미지에 대해 질문할 수 있는 더 자연스러운 인터페이스를 가능하게 한다. 의료 분야에서 VQA는 방사선 전문의가 의료 이미지에 대한 질문에 답변하도록 도울 수 있지만, 이는 특수 훈련과 신중한 검증이 필요하다. 전자상거래에서 VQA는 시각적 검색과 제품 추천 시스템을 구동할 수 있다. 이 기술은 또한 자율 주행에서도 사용되며, 시스템이 "신호등이 빨간색인가요?" 또는 "횡단보도를 건너는 보행자가 있나요?"와 같은 질문에 답변하기 위해 시각적 장면을 이해하고 추론해야 한다.
최근 발전
OpenAI, 구글 딥마인드 및 기타 연구 기관에서 개발한 대규모 멀티모달 모델의 부상은 VQA 성능을 크게 향상시켰다. 트랜스포머 아키텍처를 기반으로 하고 대규모 이미지 및 텍스트 데이터셋으로 훈련된 이러한 모델은 높은 정확도로 질문에 답변하고 설명까지 제공할 수 있다. 예를 들어, GPT-4V 및 Gemini와 같은 모델은 표준 VQA 벤치마크에서 강력한 성능을 입증했으며, 특정 작업에서는 인간 수준의 정확도에 근접하기도 한다. 그러나 이러한 모델에도 한계가 있으며 여전히 편향이나 환각을 보일 수 있다. 이 분야는 계속 진화하고 있으며, 추론 능력 향상, 편향 감소, 모델의 해석 가능성과 견고성 향상에 초점을 맞춘 연구가 진행 중이다. 2025년 현재 VQA는 여전히 활발한 연구 분야이며, 시각적 이해의 경계를 넓히기 위해 새로운 벤치마크와 과제가 지속적으로 도입되고 있다.