Stanford Question Answering Dataset(SQuAD)는 인공지능 시스템이 텍스트를 이해하고 질문에 답하는 능력을 평가하기 위해 널리 사용되는 벤치마크이다. Stanford AI Lab의 연구자들이 개발한 SQuAD는 크라우드워커들이 위키백과 문서 집합에 대해 제기한 대규모 질문 모음으로 구성된다. 각 질문에는 해당 문서에서 직접 추출된 텍스트 범위인 답변이 있으며, 이는 추출적 질문 응답으로 알려진 형식이다. 이 데이터셋은 Artificial intelligence 연구의 핵심 영역인 자연어 처리 분야에서 Machine learning 및 Deep learning 모델을 위한 표준 테스트베드 역할을 한다.
2016년에 처음 출시된 SQuAD는 예측된 답변 문자열과 정답의 정확한 일치(EM)와 부분 일치를 고려하는 토큰 수준 F1 점수를 모두 측정하는 엄격한 평가 절차를 도입했다. 이 이중 지표는 질문 응답 연구의 사실상 표준이 되었다. 종종 SQuAD1.1로 불리는 초기 버전은 500개 이상의 문서에서 파생된 100,000개 이상의 질문-답변 쌍을 포함한다. 2018년에 출시된 후속 버전인 SQuAD2.0은 답변이 존재하지 않음을 인식하는 모델의 능력을 테스트하도록 설계된 50,000개 이상의 답변 불가 질문을 추가하여 작업을 더욱 어렵고 현실적으로 만들었다.
구조 및 내용
데이터셋은 주로 저명한 인물, 사건 및 주제를 다루는 위키백과 문서로 구성된다. 크라우드워커는 각 문서를 읽고 문서 내 텍스트 범위로 답할 수 있는 질문을 생성한다. 예를 들어, "어느 회사가 튜링 머신을 개발했는가?"라는 질문이 있을 수 있으며 답변은 텍스트에 언급된 특정 회사 이름이 된다. 각 질문-답변 쌍은 문서의 문맥 단락과 짝을 이루며, 답변은 해당 단락에서의 시작 및 끝 위치로 주석이 달린다. 이 설계는 작업이 순수하게 추출적이며 생성적 응답보다는 독해에 초점을 맞추도록 보장한다.
SQuAD 데이터셋은 문서를 훈련, 개발 및 테스트 세트로 분할한다. 테스트 세트는 공개되지 않으며, 대신 참가자는 모델 예측을 서버에 제출하여 점수를 받는데, 이는 테스트 데이터에 대한 과적합을 방지하는 데 도움이 된다. 이러한 설정은 초기 Neural network 모델부터 현대 Transformer (architecture) 기반 아키텍처에 이르기까지 다양한 접근 방식 간의 공정한 비교를 장려했다.
모델 개발에 미친 영향
SQuAD는 질문 응답 모델의 급속한 발전에 중요한 역할을 했다. 초기에는 최고 성능 시스템이 Sequence-to-Sequence (Seq2Seq) 모델과 어텐션 메커니즘에 의존하여 modest한 점수를 달성했다. 2018년 BERT와 같은 사전 훈련된 언어 모델의 도입은 극적인 개선으로 이어졌으며, 모델은 몇 달 만에 SQuAD1.1에서 인간 성능을 능가했다. 이러한 진전은 대규모 말뭉치에 대한 사전 훈련의 힘을 강조했으며, 이는 현대 Large language model 개발의 초석이다.
Encoder-Decoder Architecture 설계와 Multi-Head Attention 기반 아키텍처를 포함한 후속 아키텍처는 계속해서 최첨단을 밀어붙였다. 답변 불가 질문이 포함된 SQuAD2.0은 더욱 어려운 과제임이 입증되었으며, 모델은 예측된 답변에 낮은 신뢰도 점수를 할당하는 것과 같은 기권 메커니즘을 통합해야 했다. 이 과제는 불확실성 추정과 견고한 추론에 대한 연구를 촉진했으며, 이는 여전히 활발한 연구 분야로 남아 있다.
이 벤치마크는 상용 AI 제품 개발에도 영향을 미쳤다. OpenAI 및 Google DeepMind와 같은 기업은 SQuAD 스타일 작업을 사용하여 모델을 평가하고 개선했으며, 이 데이터셋은 학술 논문과 산업 보고서에서 여전히 공통적인 참조 지점으로 남아 있다.
평가 지표 및 리더보드
SQuAD의 주요 지표는 정확한 일치(EM)와 F1 점수이다. EM은 예측된 답변이 구두점과 대소문자('a', 'an', 'the'와 같은 관사 제외)를 포함하여 정답과 정확히 일치해야 하는 엄격한 지표이다. F1은 답변을 토큰 모음으로 취급하고 정밀도와 재현율의 조화 평균을 계산하여 겹치는 단어에 부분 점수를 부여한다. SQuAD1.1에서 인간 성능은 약 82.3 EM 및 91.2 F1이며, 최고 모델은 90 EM 및 95 F1 이상의 점수를 달성했다. SQuAD2.0에서 인간 성능은 약 86.8 EM 및 89.5 F1이며, 최고 모델은 인간 수준에 근접했다.
스탠포드가 호스팅하는 공식 리더보드는 시간 경과에 따른 이러한 지표를 추적하지만 현재 공식 리더보드의 잠재력은 없으며, 연구 논문이 자체 표를 유지한다. 이 데이터셋은 독해 진행 상황을 측정하는 데 계속 사용되며 그 결과는 학회 제출물에서 정기적으로 인용된다.
한계 및 비판
성공에도 불구하고 SQuAD에는 notable한 한계가 있다. 추출적 형식은 답변을 텍스트에 존재하는 범위로 제한하므로 실제 사용자가 묻는 개방형 질문의 전체 범위를 반영하지 못한다. 데이터셋에는 질문이 개체와 날짜에 집중하는 경향과 같은 편향이 있으며, 크라우드소싱된 질문이 항상 자연스럽지 않을 수 있다. 비평가들은 높은 점수를 달성하는 모델이 깊은 이해보다는 표면적 단서(예: 질문의 단어를 문맥과 일치시키기)에 의존할 수 있다고 지적했다.
SQuAD2.0은 답변 불가 질문을 추가하여 일부 문제를 해결했지만, 여전히 질문당 단일 문서가 있는 폐쇄형 설정에서 작동한다. 이는 시스템이 대규모 말뭉치에서 관련 정보를 검색해야 하는 개방형 도메인 질문 응답과 크게 다르다. 결과적으로 연구자들은 다중 홉 및 개방형 도메인 과제를 탐구하기 위해 Natural Questions 및 HotpotQA와 같은 대체 벤치마크를 개발했다. 그럼에도 불구하고 SQuAD는 이 분야의 표준 참조 자료로 남아 있다.
유산 및 지속적 사용
SQuAD의 유산은 기초 자원으로서 확장된다. 이는 Deep learning 개념을 가르치기 위한 교육 도구로 사용되며, 답변은 추출적이다. 데이터셋은 자유롭게 사용할 수 있으며 널리 사용되는 Machine learning 라이브러리 및 교육 플랫폼에 통합되었다. 대규모, 크라우드소싱 질문 및 명확한 평가 지표라는 설계 원칙은 수많은 후속 데이터셋에 영감을 주었다.
2025년 현재 SQuAD는 특히 Transformer (architecture) 기반 아키텍처와 같은 최신 모델과의 결합 및 모델 해석 가능성 연구에서 지속적으로 사용되고 있다. 생성적 Large language model의 부상으로 그 지배력은 약화되었지만, 독해 능력에 대한 귀중한 sanity check로 남아 있다. 이 벤치마크의 AI 역사에서의 역할은 확고하며, 10년간의 진전을 촉진하고 연구자들이 결과를 비교할 수 있는 공통 언어를 제공했다.