TriviaQA는 2017년 워싱턴 대학교 연구진이 도입한 대규모 질의응답(QA) 및 독해 벤치마크 데이터셋이다. 이 데이터셋은 자연스럽게 발생한 질문, 복잡한 다문장 답변, 그리고 상당한 양의 뒷받침 증거를 제공함으로써 초기 QA 데이터셋의 한계를 해결하기 위해 만들어졌다. 이후 머신러닝 모델, 특히 딥러닝 및 트랜스포머 기반 아키텍처의 표준 평가 도구가 되었다.
이 데이터셋은 65만 개 이상의 질문-답변-증거 삼중항으로 구성되며, QuizLeague, 위키백과, 그리고 트리비아 웹페이지 크롤링이라는 세 가지 트리비아 웹사이트에서 수집한 95,000개의 질문-답변 쌍에서 파생되었다. 각 질문에는 일반적으로 위키백과 문서에서 가져온 여러 개의 증거 문서가 짝지어져 있으며, 답변이 포함되어 있다. 이러한 설계는 모델이 긴 구절을 검색하고 추론하도록 강제하여, 단일 문단 추출에 초점을 맞춘 SQuAD와 같은 초기 데이터셋보다 더 어려운 과제를 제시한다.
구축 및 통계
TriviaQA는 먼저 웹에서 트리비아 질문과 답변을 스크래핑하여 구축되었다. 질문은 자연스럽게 표현되며, 종종 다중 홉 추론, 시간적 추론, 또는 일반 상식 지식을 요구한다. 각 질문에 대해 저자들은 Bing 검색과 위키백과 링크 매칭을 조합하여 관련 증거 문서를 수집했으며, 그 결과 질문당 평균 6개의 증거 문서가 산출되었다.
데이터셋은 훈련, 개발, 테스트 세트로 분할된다. 훈련 세트에는 78,785개의 질문-답변 쌍이 포함되고, 개발 세트에는 8,837개, 테스트 세트에는 11,313개가 포함된다. 주목할 만한 특징은 증거가 웹 문서로 제한되는 '웹 전용' 분할과 증거가 위키백과에서만 제공되는 '위키백과 전용' 분할이 포함된다는 점이다. 이를 통해 연구자들은 도메인별 검색의 영향을 분리하여 분석할 수 있다.
평가 및 지표
TriviaQA의 표준 평가는 다른 QA 벤치마크와 유사하게 정확히 일치(EM) 및 F1 점수를 사용한다. EM은 예측이 허용된 답변 중 하나와 정확히 일치하는 비율을 측정하며, F1은 토큰 수준의 중첩을 계산한다. 모델은 일반적으로 두 가지 설정으로 평가된다: 폐쇄형(외부 검색 없이 파라메트릭 지식에 의존)과 개방형(제공된 증거에서 검색 수행).
출시 이후 TriviaQA는 대규모 언어 모델 연구의 발전을 이끄는 핵심 동력이 되었다. 초기 신경망 모델인 BiDAF와 DrQA는 낮은 점수를 기록했지만, BERT와 T5와 같은 트랜스포머 기반 모델의 등장으로 상당한 개선이 이루어졌다. 2021년까지 OpenAI의 GPT-3와 Google의 T5와 같은 모델은 개발 세트에서 70% 이상의 EM을 달성할 수 있었으며, 2023년에는 GPT-4 및 Claude와 같은 생성형 AI 시스템이 특정 하위 집합에서 90% 이상의 EM을 기록하며 인간 수준에 근접한 성능을 보여주었다.
AI 연구에 미친 영향
TriviaQA는 인공지능 연구의 여러 영역에 영향을 미쳤다. 이 데이터셋은 대규모 자연 발생 질문을 독해 시스템의 훈련 및 평가에 활용하는 방식을 대중화했다. 또한 사전 선택된 증거 없이 대규모 말뭉치를 검색하고 추론해야 하는 개방형 QA 연구를 촉진했다. 이러한 연구 흐름은 고밀도 구절 검색(DPR) 및 기타 검색 증강 생성 기법의 발전에 기여했으며, 이러한 기법은 현재 많은 프로덕션 QA 시스템에서 필수적인 요소가 되었다.
또한 TriviaQA는 모델의 견고성과 보정(calibration) 연구에도 사용되었다. 연구자들은 모델이 모호한 질문, 다중 홉 추론, 답변 형식을 어떻게 처리하는지 분석했다. 이 데이터셋의 다양한 질문 유형은 Natural Questions 및 HotpotQA와 같은 다른 데이터셋과 함께 대규모 언어 모델의 지식 및 추론 능력을 평가하는 일반적인 벤치마크로 자리 잡았다.
한계 및 비판
TriviaQA는 널리 사용됨에도 불구하고 알려진 한계가 있다. 질문이 주로 사실 기반의 트리비아에 치우쳐 있어, 대화형 또는 작업 지향적 쿼리와 같은 실제 QA 요구를 반영하지 못할 수 있다. 증거 문서에는 노이즈가 있거나 답변이 여러 형태로 포함되는 경우가 있어 평가의 일관성에 문제를 일으킬 수 있다. 또한, 질문이 웹에서 스크래핑되었기 때문에 일부 답변이 대규모 언어 모델의 훈련 말뭉치에 이미 존재할 수 있다는 점에서 잠재적 답변 누출 가능성이 비판을 받아왔다. 이는 폐쇄형 설정에서 성능을 부풀릴 수 있다.
이러한 문제를 해결하기 위해 연구자들은 필터링된 버전을 제안하거나 TriviaQA를 다른 데이터셋과 결합하여 더 견고한 벤치마크를 만들었다. 그럼에도 불구하고 TriviaQA는 개방형 QA 및 지식 집약적 작업의 맥락에서 모델 성능을 비교하는 데 널리 사용되는 기준점으로 남아 있다.
유산 및 지속적 사용
TriviaQA는 Google DeepMind, Anthropic과 같은 주요 AI 연구 기관과 스탠포드 AI 연구소 및 버클리 AI 연구소와 같은 학술 연구소의 평가 제품군에서 핵심 요소로 계속 사용되고 있다. 모델 카드와 기술 보고서에 일반 지식 및 추론 능력의 척도로 자주 포함된다. 이 데이터셋의 설계는 Natural Questions 및 WebQuestions와 같은 후속 벤치마크에 영감을 주었으며, 이들은 유사한 다중 증거 구조를 채택했다.
2020년대 중반 현재 TriviaQA는 여전히 유효한 벤치마크로 남아 있지만, 최첨단 모델은 종종 인간 기준선에 근접하거나 이를 초과하는 점수를 달성하여 일부에서는 이 벤치마크가 포화 상태에 이르렀다는 주장이 제기된다. 그럼에도 불구하고 이 데이터셋은 QA 시스템 발전의 역사적 이정표로 자리 잡았으며, 학계와 산업계의 파인튜닝 및 평가에 계속 사용되고 있다.