DocVQA(문서 시각 질의 응답)는 인공지능 시스템이 문서 이미지의 내용에 관한 질문에 답변하는 능력을 평가하기 위해 설계된 벤치마크 데이터셋이다. 자연 장면에 초점을 맞춘 전통적인 시각 질의 응답(VQA)과 달리, DocVQA는 텍스트 내용, 복잡한 레이아웃, 표, 그림, 다양한 활자체가 결합된 문서의 고유한 과제를 대상으로 한다. 이 작업은 모델이 텍스트를 읽을 뿐만 아니라 공간적 배치와 시각적 단서를 이해하여 올바른 답을 찾고 종합해야 한다.
이 데이터셋은 2020년 바스크 대학교(UPV/EHU)와 알리칸테 대학교의 연구자들에 의해 소개되었으며, 루벤 티토(Ruben Tito)와 동료들이 주도했다. 이는 자연 이미지에 초점을 맞추거나 추론 요소 없이 순수 텍스트 추출에만 집중한 기존 벤치마크의 공백을 메우기 위해 만들어졌다. DocVQA는 이후 문서 이해 분야의 발전을 위한 표준 참조점이 되었으며, 시각과 언어 처리를 결합한 다중 모달 모델의 발전을 촉진했다.
데이터셋 구성
DocVQA 데이터셋은 12,000개 이상의 개별 문서 페이지에서 파생된 50,000개 이상의 질문으로 구성된다. 이 문서들은 학술 논문, 비즈니스 보고서, 송장, 양식, 기술 매뉴얼을 포함한 다양한 산업과 형식에서 수집된다. 각 질문에는 짧은 구, 숫자, 날짜 또는 항목 목록이 될 수 있는 정답이 짝지어져 있다. 질문은 단순한 텍스트 검색(예: "송장 번호는 무엇인가?")부터 문서의 여러 부분에서 정보를 결합하는 더 복잡한 추론(예: "표에 나열된 모든 항목의 총 비용은 얼마인가?")까지 다양한 이해 수준을 요구하도록 설계되었다.
데이터셋은 훈련, 검증, 테스트 세트로 분할된다. 훈련 세트에는 약 41,000개의 질문, 검증 세트에는 약 5,000개, 테스트 세트에는 약 5,000개가 포함된다. 테스트 세트는 공식 평가를 위해 보류되며, 결과는 공개 리더보드에 보고된다. 질문은 예/아니오, 숫자, 날짜, 짧은 구 답변을 포함한 유형별로 분류되어, 다양한 질문 형식에 걸친 모델 성능의 세부 분석을 가능하게 한다.
평가 지표
DocVQA의 성능은 주로 평균 정규화 레벤슈타인 유사도(ANLS) 지표로 측정된다. 정확히 일치하는 정확도와 달리, ANLS는 약간의 철자 오류나 표현의 사소한 변형에 관대하며, 이는 OCR(광학 문자 인식) 오류나 형식 차이가 발생할 수 있는 문서 이해에 더 현실적이다. ANLS 점수는 0에서 1까지 범위이며, 1은 예측 답과 정답 사이의 완벽한 일치를 나타낸다. 이 지표는 부분 일치보다 잘못된 답에 더 큰 패널티를 부여하여 모델 품질의 견고한 측정을 제공한다.
ANLS 외에도 일부 연구는 이차 지표로 정확히 일치하는 정확도를 보고한다. 공식 리더보드는 ANLS 점수로 제출물을 순위 매기며, 2024년 기준 최고 성능 모델은 0.90 이상의 점수를 달성하여 벤치마크에서 인간에 가까운 성능을 나타낸다. 그러나 이러한 높은 점수는 종종 크고 계산 집약적인 모델에서 나오며, 벤치마크 성능과 실제 세계 견고성 사이에는 여전히 격차가 존재한다.
다른 벤치마크와의 관계
DocVQA는 텍스트 전용 질의 응답을 위한 SQuAD와 자연 이미지를 위한 Visual QA를 포함한 더 넓은 문서 이해 벤치마크 계열의 일부이다. 이는 OCR, 핵심 정보 추출, 레이아웃 분석과 같은 다른 문서 특화 작업과 밀접하게 관련된다. 이 벤치마크는 더 전문화된 문서 유형에 초점을 맞춘 InfographicVQA 및 ChartQA와 같은 파생 데이터셋에 영감을 주었다. Artificial intelligence 및 Machine learning의 맥락에서 DocVQA는 특히 Transformer (architecture) 모델에 기반한 Neural network 아키텍처를 통합하는 다중 모달 시스템의 테스트베드 역할을 한다.
OpenAI, Anthropic, Google DeepMind가 개발한 것과 같은 비전 기능을 갖춘 Large language model(LLM)의 부상은 DocVQA에 대한 새로운 관심을 불러일으켰다. 종종 Encoder-Decoder Architecture 또는 Multi-Head Attention 메커니즘에 기반한 이러한 모델은 문서 추론 능력을 벤치마킹하기 위해 DocVQA에서 평가된다. 이 벤치마크는 또한 Amazon Web Services 및 Google Cloud와 같은 회사의 문서 처리 서비스를 제공하는 특화된 문서 AI 시스템의 성능을 평가하는 데 사용되었다.
과제와 한계
널리 사용됨에도 불구하고 DocVQA에는 몇 가지 한계가 있다. 데이터셋은 주로 영어로 되어 있어 다국어 문서 이해에 적용이 제한된다. 문서는 비교적 깨끗하고 잘 스캔된 반면, 실제 세계 문서는 종종 노이즈, 손글씨 또는 복잡한 색상 구성을 포함한다. 또한 질문은 인간 주석자에 의해 생성되며 모든 가능한 추론 유형을 다루지 않을 수 있어 모델이 특정 패턴에 편향될 가능성이 있다. 벤치마크는 또한 생산 환경 배포에 중요한 적대적 교란 또는 도메인 이동에 대한 견고성을 명시적으로 테스트하지 않는다.
또 다른 과제는 높은 점수를 달성하는 계산 비용이다. 많은 최고 성능 모델은 대규모 데이터셋에 대한 대규모 사전 훈련에 의존하며, 이는 모든 연구 그룹에게 실현 가능하지 않다. 이는 문서 이해를 더 접근 가능하게 만들기 위해 Model Pruning 및 Data Augmentation과 같은 더 효율적인 아키텍처와 훈련 방법에 대한 관심 증가로 이어졌다.
미래 방향
문서 시각 질의 응답 분야는 빠르게 진화하고 있다. 미래 작업은 DocVQA를 다른 언어와 문서 유형으로 확장하고, 더 복잡한 추론 작업을 통합하며, 모델 해석 가능성을 개선하는 데 초점을 맞출 수 있다. 또한 광범위한 미세 조정 없이 모델이 보지 못한 문서 형식에 일반화할 수 있는 제로샷 및 퓨샷 학습에 대한 추진도 있다. Generative AI가 계속 발전함에 따라 DocVQA는 AI 시스템이 전 세계 문서에 저장된 방대한 정보를 안정적으로 읽고 추론할 수 있도록 보장하는 중요한 벤치마크로 남아 있다.