KVQA(지식 기반 시각 질의응답)는 인공지능과 기계 학습의 하위 분야로, 컴퓨터 비전, 자연어 처리, 지식 표현을 결합한다. 이미지의 시각적 내용에만 의존하는 전통적인 시각 질의응답(VQA)과 달리, KVQA 시스템은 정확한 답변을 생성하기 위해 지식 그래프, 백과사전 데이터베이스, 또는 구조화된 사실과 같은 외부 지식 소스에 접근하고 추론해야 한다. 이 작업은 모델이 이미지에서 객체, 장면, 관계를 인식할 뿐만 아니라 관련 세계 지식을 검색하고, 이미지에 직접 보이지 않는 개체, 속성, 또는 사실을 참조하는 질문에 답하기 위해 다단계 추론을 수행해야 한다.
KVQA의 발전은 딥러닝의 진보와 대규모 다중 모드 모델의 등장과 밀접하게 연관되어 있다. 2010년대 중반에 도입된 초기 VQA 데이터셋은 이미지 단독으로 답할 수 있는 질문에 초점을 맞췄다. 그러나 연구자들은 "이 건물을 누가 지었는가?" 또는 "이 도시의 인구는 얼마인가?"와 같은 많은 자연스러운 질문이 외부 지식을 요구한다는 것을 곧 인식했다. 이러한 인식은 KVQA 전용 벤치마크의 생성과 신경 아키텍처에 지식 베이스를 통합하는 결과를 낳았으며, 종종 시각적 특징과 텍스트 지식 표현 모두에 주의를 기울일 수 있는 트랜스포머 기반 모델을 사용한다.
역사적 발전
KVQA의 개념은 2015년 버지니아 공대와 마이크로소프트 연구자들이 VQA 데이터셋을 출시한 이후 주목을 받은 더 넓은 VQA 연구 의제에서 emerged했다. 초기 VQA 작업은 순수하게 시각적이었지만, 2016년에 도입된 FVQA(사실 기반 시각 질의응답) 데이터셋과 같은 후속 작업은 명시적으로 외부 사실을 요구했다. FVQA는 (주어, 관계, 목적어)의 삼중항 지식 베이스를 제공하고 모델이 질문에 답하기 위해 관련 사실을 검색하도록 했다. 그 뒤를 이어 KVQA(동명의 데이터셋, 2018년 인도 공과대학 델리 캠퍼스 및 공동 연구자들이 도입)와 같은 다른 데이터셋이 나왔으며, 이는 유명 인물과 장소에 관한 질문에 초점을 맞추고 위키백과와 Freebase와 같은 소스의 지식을 요구했다.
이러한 초기 데이터셋은 구조화된 지식 베이스를 사용했고, 종종 시퀀스-투-시퀀스 모델이나 주의 메커니즘에 의존하여 이미지 특징과 검색된 지식을 결합했다. 2017년 트랜스포머 아키텍처, 특히 다중 헤드 주의 메커니즘의 도입은 시각적 및 텍스트 정보의 더 정교한 융합을 가능하게 했다. 2010년대 후반까지 LXMERT와 VisualBERT와 같은 이미지-텍스트 쌍으로 사전 훈련된 모델은 지식 모듈을 통합하기 시작했지만, 훈련 데이터에 없는 오픈 도메인 지식에는 여전히 어려움을 겪었다.
핵심 과제
KVQA는 표준 VQA에 비해 몇 가지 독특한 과제를 제기한다. 첫째, 시스템은 외부 지식이 필요한 시점을 결정해야 한다. 많은 질문은 이미지 단독으로 답할 수 있으며, 불필요한 지식 검색은 노이즈를 유발할 수 있다. 둘째, 검색 과정은 효율적이고 정확해야 하며, 종종 시스템이 실시간으로 대규모 지식 베이스를 질의해야 한다. 셋째, 시각적 및 지식 기반 증거의 통합은 정교한 추론을 요구하며, 답변은 여러 사실을 결합하거나 보이는 것과 알려진 것 사이의 모순을 해결하는 데 의존할 수 있다.
또 다른 중요한 과제는 데이터 증강 및 주석 비용이다. KVQA 데이터셋을 생성하려면 이미지에 답이 없는 질문을 짝지어야 하며, 이는 수동 주석과 지식 베이스 큐레이션을 요구한다. 이로 인해 지식 그래프에서 질문을 생성하는 반자동 파이프라인이 사용되었지만, 이러한 파이프라인은 종종 단순하거나 부자연스러운 질문을 생성한다. 결과적으로 많은 KVQA 모델은 유명한 랜드마크나 유명인과 같은 제한된 도메인에서 평가되며, 오픈 도메인 질문에서의 성능은 여전히 제한적이다.
현대적 접근법
대규모 언어 모델과 OpenAI의 GPT-4V 및 Google DeepMind의 Gemini와 같은 다중 모드 모델의 부상으로 KVQA는 패러다임 전환을 겪었다. 수십억 개의 매개변수를 가진 트랜스포머 아키텍처를 기반으로 하는 이러한 모델은 방대한 텍스트와 이미지 말뭉치로 사전 훈련되어 방대한 양의 세계 지식을 암묵적으로 인코딩한다. 결과적으로, 이러한 모델은 명시적 검색 없이 매개변수에 내장된 지식을 활용하여 지식 기반 시각 질문에 답할 수 있는 경우가 많다. "클로즈드북" KVQA라고도 불리는 이 접근법은 외부 지식을 요구하는 2019년에 도입된 OK-VQA(외부 지식 VQA)와 같은 벤치마크에서 인상적인 결과를 보여주었다.
그러나 클로즈드북 모델에는 환각(그럴듯하지만 부정확한 답변 생성) 및 희귀하거나 최근의 사실 처리 어려움과 같은 한계가 있다. 이를 해결하기 위해 하이브리드 접근법은 매개변수 지식과 비매개변수 검색을 결합하고, 교차 주의와 같은 기술을 사용하여 검색된 지식 조각을 시각적 특징과 융합한다. 예를 들어, REVEAL 및 KAT(지식 증강 트랜스포머)와 같은 모델은 검색기를 사용하여 지식 말뭉치에서 관련 구절을 가져온 다음 트랜스포머 기반 생성기에 공급한다. 이러한 시스템은 종종 디코딩 중에 빔 서치 또는 top-p 샘플링을 사용하여 답변을 생성한다.
지식 그래프 임베딩의 통합도 탐구되었으며, 여기서 모델은 그래프 구조에 대해 추론하는 방법을 학습한다. 예를 들어, 일부 연구는 그래프 신경망을 사용하여 검색된 개체에서 정보를 전파하여 다중 홉 추론을 가능하게 한다. 이러한 방법은 "이 배우가 출연한 영화의 감독은 누구인가?"와 같이 여러 사실을 결합해야 하는 질문에 특히 유용하다.
평가 및 벤치마크
KVQA의 표준 벤치마크에는 FVQA, KVQA, OK-VQA가 포함된다. FVQA(2016)는 50,000개의 사실로 구성된 지식 베이스와 함께 약 2,000개의 질문을 포함한다. KVQA(2018)는 1,800명의 유명 인물과 랜드마크에 관한 18,000개 이상의 질문을 가지며, 답변은 Freebase에서 출처를 얻는다. OK-VQA(2019)는 외부 지식을 요구하는 14,000개 이상의 질문으로 더 크지만, 특정 지식 베이스를 제공하지 않아 더 어렵다. A-OKVQA(2022)와 같은 더 최근의 벤치마크는 객관식 및 개방형 질문으로 확장하고 이미지 캡션과 외부 사실의 지식 베이스를 포함한다.
평가 지표는 일반적으로 정확도(정확한 일치 또는 객관식 정답 여부)와 생성 모델의 경우 CIDEr 또는 BLEU와 같은 지표를 포함한다. 그러나 이러한 지표는 종종 추론 품질을 포착하지 못하며, 모델이 진정으로 추론하는지 아니면 단순히 패턴을 암기하는지에 대한 논쟁이 계속되고 있다. 일부 연구자는 훈련 분포에 없는 지식을 요구하는 구성적 질문이나 적대적 예제와 같은 특정 추론 능력을 테스트하는 진단 데이터셋을 제안했다.
응용 및 미래 방향
KVQA는 보조 기술(시각 장애 사용자가 환경을 이해하도록 돕기), 교육(역사적 이미지나 과학 다이어그램에 관한 질문에 답하기), 전자 상거래(이미지 기반 제품 정보 제공)와 같은 분야에서 실용적인 응용이 있다. 의료 분야에서 KVQA는 해부학이나 질병에 대한 지식을 요구하는 스캔에 관한 질문에 답함으로써 방사선 전문의를 지원할 수 있지만, 이는 여전히 활발한 연구 영역이다.
미래 방향은 지식 검색의 신뢰성 향상, 생성 모델의 환각 감소, 실제 세계 복잡성을 더 잘 반영하는 벤치마크 개발을 포함한다. 또한 KVQA 모델을 더 해석 가능하게 만들어 사용자가 답변을 도출하는 데 사용된 사실을 볼 수 있게 하는 데 관심이 있다. 생성형 AI가 계속 발전함에 따라 KVQA는 다중 모드 어시스턴트의 표준 구성 요소가 되어 세계 지식으로 다양한 시각적 질문에 답할 수 있게 될 가능성이 높다.