Natural Questions는 2019년 Google 연구진이 도입한 개방형 질의응답 연구를 위한 대규모 데이터셋이다. 이 데이터셋은 Google 검색 엔진에 실제로 입력된 익명화된 질의로 구성되며, 각 질의에는 해당 답변을 포함하는 Wikipedia 페이지, 긴 답변(문단 또는 표), 그리고 해당되는 경우 짧은 답변(문자열 또는 개체)이 짝지어져 있다. 이 데이터셋은 인위적으로 구성된 질문보다는 사용자가 실제로 검색 엔진에 입력하는 정보 탐색 질문에 초점을 맞춤으로써, 질문 이해를 단순한 독해 과제를 넘어 실제 검색 환경의 복잡성을 반영하도록 설계되었다.
구축 및 주석
Natural Questions는 2018년 1월부터 12월 사이에 수집된 익명화된 Google 검색 질의를 기반으로 구축되었다. 각 질의는 Google의 검색 순위 시스템이 답변을 포함할 가능성이 높다고 판단한 Wikipedia 페이지와 연결되었다. 주석 작업은 두 단계로 진행되었다. 먼저 주석자는 페이지 내에서 답변을 포함하는 긴 답변(문단, 표 또는 목록)을 식별했다. 그 다음 단계에서는 해당 긴 답변 내에서 짧은 답변(개체, 텍스트 범위 또는 '예/아니오' 응답)을 추출하거나, 페이지에 답변이 없을 경우 해당 질문에 답변이 없다고 표시했다. 이러한 과정을 통해 총 307,373개의 훈련 예제, 7,830개의 개발 예제, 7,842개의 테스트 예제가 구축되었으며, 답변 유형의 자연스러운 분포(답변 없음 포함)를 갖추게 되었다.
벤치마크로서의 의의
Natural Questions는 개방형 질의응답 분야의 표준 벤치마크로 자리 잡았으며, SQuAD와 같은 기존 데이터셋을 보완한다. SQuAD가 주어진 문서 내에서 답변을 찾는 독해 중심의 과제였다면, Natural Questions는 시스템이 대규모 말뭉치(일반적으로 Wikipedia)에서 관련 정보를 검색한 후 답변을 추출해야 하는 검색-독해 통합 과제를 제시한다. 이러한 설정은 이후 대규모 언어 모델 기반 검색 증강 생성 패러다임의 핵심이 되었다. 또한 이 데이터셋은 추출적 및 생성적 모델의 성능 평가에 널리 사용되었으며, DPR(Dense Passage Retriever)과 같은 고밀도 검색 기법의 발전을 촉진했다.
영향 및 한계
Natural Questions는 실제 사용자 질의를 기반으로 한다는 점에서 질의응답 연구의 방향성을 재정립하는 데 기여했다. 그러나 Wikipedia만을 답변 소스로 사용한다는 점에서 웹 전체의 다양성을 반영하지 못한다는 한계가 지적된다. 또한 주석 과정에 많은 시간과 비용이 소요되어 데이터셋의 규모가 자동 생성된 말뭉치에 비해 제한적이다. 일부 연구자들은 짧은 답변 주석의 일관성 문제, 특히 여러 개의 유효한 답변이 존재하거나 답변이 암시적인 질문에서의 불일치 가능성을 제기하기도 했다. 이러한 한계를 보완하기 위해 다국어 데이터셋인 TyDi QA나 장문 설명형 답변에 초점을 맞춘 ELI5와 같은 후속 데이터셋이 등장했다.
지속적인 활용
Natural Questions는 여전히 개방형 질의응답 시스템을 평가하는 핵심 자원으로 사용되고 있다. 특히 트랜스포머 기반 아키텍처와 BERT 스타일 인코더를 활용한 검색 모델, T5와 같은 생성 모델의 성능을 측정하는 데 널리 활용된다. 또한 모델의 견고성, 해석 가능성, 그리고 실제 사용자 질문에 대한 인간과 기계의 성능 격차를 연구하는 학술 연구에서도 중요한 기준점 역할을 한다. 데이터셋의 설계 원칙, 특히 실제 사용자 질문에 대한 강조는 이후 다양한 질의응답 데이터셋 구축에 영향을 미쳤으며, 현재까지도 관련 연구의 참조 기준으로 남아 있다.