VQA-X는 이미지에 대한 질문에 답하는 표준 과제를 확장하여, 각 답변에 대한 자연어 설명도 함께 생성하는 시각 질의 응답(VQA) 시스템이다. 이 시스템은 인공지능, 특히 시각과 언어를 결합한 다중 모달 시스템에서 해석 가능성에 대한 증가하는 필요성을 해결하기 위해 도입되었다. 텍스트 기반의 근거를 제공함으로써, VQA-X는 AI 모델의 추론 과정을 인간 사용자에게 더 투명하게 만드는 것을 목표로 하며, 이는 의료 영상, 자율 주행, 콘텐츠 모더레이션과 같은 분야의 응용에서 중요하다.
VQA-X의 핵심 혁신은 답변 정확도와 설명 품질을 모두 최적화 대상으로 포함하는 훈련 패러다임에 있다. 짧은 답변(예: 단어나 구)만 출력하는 기존 VQA 모델과 달리, VQA-X는 인간이 주석을 단 설명이 포함된 데이터셋으로 훈련된다. 이를 통해 모델은 특정 답변이 왜 올바른지, 객체, 색상, 공간 관계 또는 맥락적 단서와 같은 구체적인 시각적 증거를 참조하여 설명하는 방법을 학습할 수 있다. 설명은 자유 형식 텍스트로 생성되므로 비전문가 사용자도 접근할 수 있다.
구조 및 훈련
VQA-X는 일반적으로 Encoder-Decoder Architecture 프레임워크를 기반으로 하며, 인코더는 이미지와 질문을 처리하고 디코더는 답변과 설명을 모두 생성한다. 시각 인코더는 종종 Residual Network (ResNet) 또는 Transformer (architecture) 기반 비전 모델을 사용하여 이미지에서 고수준 특징을 추출한다. 질문은 별도의 텍스트 인코더로 인코딩되며, 두 양식은 Cross-Attention 메커니즘을 통해 융합된다. 디코더는 종종 Large language model 또는 더 작은 순환 네트워크로, 답변 토큰을 생성한 다음 설명 시퀀스를 생성한다.
훈련은 답변에 대한 분류 손실(답변이 고정 어휘에서 나오는 경우)과 설명에 대한 시퀀스 생성 손실을 결합한 다중 작업 손실을 포함한다. 일부 구현은 Curriculum Learning을 사용하여 복잡한 질문을 도입하기 전에 더 간단한 질문부터 먼저 훈련한다. 무작위 잘라내기나 색상 지터와 같은 데이터 증강 기법이 이미지에 적용되어 일반화를 개선한다. 모델은 일반적으로 VQA v2 데이터셋의 확장판인 VQA-X와 같은 데이터셋으로 훈련되며, 약 30,000개의 이미지에 질문, 답변, 인간이 작성한 설명이 짝지어 포함되어 있다.
응용 및 사용 사례
VQA-X는 의사 결정이 감사 가능해야 하는 분야에서 실용적인 응용이 있다. 의료 영상에서 시스템은 방사선 전문의의 스캔에 대한 질문에 답하고 추론을 설명하여 진단과 훈련을 도울 수 있다. 자율 주행에서는 차량이 신호등에서 멈춘 이유를 빨간 신호와 보행자 횡단을 참조하여 설명할 수 있다. 접근성 측면에서 VQA-X는 시각 장애인이 답변뿐만 아니라 맥락적 설명도 제공하여 이미지를 이해하도록 도울 수 있다. 교육에서는 학생들이 다이어그램에 대해 질문하고 설명적 피드백을 받을 수 있는 상호작용 학습 도구로 사용된다.
평가 지표
VQA-X를 평가하려면 답변 정확성과 설명 품질을 모두 평가하는 지표가 필요하다. 답변의 경우 표준 정확도가 사용된다. 설명의 경우 BLEU, ROUGE, CIDEr와 같은 자동화된 지표가 일반적으로 사용되지만, 의미적 적절성을 포착하는 데 한계가 있다. 설명의 관련성, 유창성, 충실성을 판단하기 위해 인간 평가가 자주 수행된다. 핵심 과제는 설명이 사후 합리화가 아니라 모델의 추론 과정을 진정으로 반영하도록 보장하는 것이다. 연구자들은 설명과 모델이 집중하는 시각적 영역 간의 정렬을 검증하기 위해 주의 맵이나 돌출성 방법을 사용할 것을 제안했다.
한계 및 향후 방향
현재 VQA-X 모델은 여러 한계에 직면해 있다. 설명이 장황하거나 일반적일 수 있으며, 이미지에 대한 특수성이 부족할 수 있다. 또한 시각적 입력에 존재하지 않는 세부 사항을 환각할 수도 있다. 훈련 데이터는 크기와 도메인 범위가 제한되어 있어 보지 못한 시나리오에 대한 일반화를 제한한다. 향후 작업에는 설명 품질을 개선하기 위한 reinforcement learning from human feedback 통합, 모델을 더 효율적으로 만들기 위한 Model Pruning 사용, 설명 가능성을 직접 측정하는 더 나은 평가 프레임워크 개발이 포함된다. 또한 설명 자체에 대해 후속 질문을 할 수 있도록 설명을 더 상호작용적으로 만드는 데 관심이 있다.
관련 개념
VQA-X는 주의 시각화와 돌출성 맵과 같은 기법을 포함하는 설명 가능한 AI의 더 넓은 분야에 위치한다. 이는 visual commonsense reasoning 및 grounded language understanding와 목표를 공유한다. VQA-X의 개발은 Deep learning과 Generative AI의 발전, 특히 Transformer (architecture) 기반 모델의 부상에 영향을 받았다. Stanford AI Lab 및 MIT CSAIL과 같은 기관의 연구자들이 그 발전에 기여했으며, 이미지 캡셔닝 및 시각적 함의와 같은 다른 다중 모달 작업과 함께 자주 논의된다.