Stanford Question Answering Dataset(SQuAD)는 기계 학습 모델의 독해 이해와 질의응답 성능을 평가하기 위한 벤치마크 데이터셋이다. 이 데이터셋은 크라우드워커들이 위키백과 문서 모음에 대해 제기한 질문들로 구성되며, 각 질문에 대한 답은 해당 문서의 텍스트 일부(스팬)이다. SQuAD는 자연어 처리 연구에서 모델이 주어진 지문을 얼마나 잘 이해하고 정확한 답을 찾아내는지 측정하는 데 널리 사용되며, 현대 질의응답 시스템 개발의 핵심 이정표 역할을 한다.
SQuAD는 스탠퍼드 대학교 연구진이 도입했으며 2016년에 처음 공개되었다. 초기 버전은 이후 SQuAD1.1로 명명되었으며, 536개의 위키백과 문서에서 파생된 100,000개 이상의 질문-답변 쌍을 포함한다. 후속 버전인 SQuAD2.0은 2018년에 공개되었으며, 지문에 정보가 없을 때 모델이 답변을 거부하는 능력을 테스트하도록 설계된 50,000개 이상의 답변 불가 질문을 추가했다. 이 데이터셋의 인기는 깔끔한 형식, 스팬 기반 답변의 객관성, 그리고 모델 성능 비교를 위한 직관적인 지표 제공 능력에서 비롯된다.
데이터셋 구조 및 생성
SQuAD의 구축에는 Amazon Mechanical Turk를 통해 모집된 크라우드워커들이 참여했으며, 이들은 위키백과 문서를 읽고 답이 연속된 텍스트 스팬인 질문을 생성하도록 요청받았다. 문서는 역사, 과학, 지리 등 다양한 주제를 다루는 선별된 고품질 항목 목록에서 선택되었다. 각 질문에는 단일 정확한 답변 스팬이 짝지어졌으며, 대체로 유효한 표현을 고려하여 추가 답변도 수집되었다. 원래 SQuAD1.1 데이터셋은 약 87,000개 질문의 훈련 세트와 약 10,000개 질문의 개발 세트로 분할되었으며, 공식 평가에는 숨겨진 테스트 세트가 사용되었다.
SQuAD2.0은 원래 질문에 새로운 답변 불가 질문을 결합하여 중요한 도전 과제를 도입했다. 이러한 적대적 예시는 데이터셋의 문단과 유사하지만 특정 사실(예: 날짜나 이름 교체)을 변경하도록 수정된 문단을 기반으로 크라우드워커들이 작성했다. 목표는 스팬이 존재할 때 정확히 답변할 뿐만 아니라 답변이 없을 때 질문을 거부하도록 모델을 요구하는 것이었다. 이러한 발전은 큰 영향을 미쳤으며, 많은 초기 시스템이 기권 요구를 처리하지 못해 새 벤치마크에서 상당한 성능 하락을 겪었다.
평가 지표
SQuAD의 주요 지표는 정규화(구두점 및 관사 제거 등) 후 예측이 정답 중 하나와 정확히 일치하는 비율을 측정하는 Exact Match(EM) 점수이다. 보조 지표인 F1 점수는 예측 토큰과 정답 토큰 간의 중첩을 계산하여 부분 일치에 점수를 부여하는 더 관대한 측정을 제공한다. 이러한 지표는 개발 세트에서 계산되며, 공식 리더보드는 역사적으로 제출물 순위를 매기는 데 사용되었다. 리더보드는 스탠퍼드 NLP 그룹이 운영하는 전용 웹사이트에서 호스팅되었으며, 최종 업데이트까지 경쟁 연구의 중심 역할을 했다.
NLP 연구에 미친 영향
SQuAD는 딥러닝과 트랜스포머 기반 아키텍처의 부상과 맞물려 자연어 처리의 진화에 중추적인 역할을 했다. 2016년 초기 최고 시스템은 순환 신경망과 어텐션 메커니즘에 의존했지만, 2017년 트랜스포머 모델 도입과 이후 사전 훈련 언어 모델은 환경을 근본적으로 변화시켰다. 특히 OpenAI와 다른 연구소는 Google의 변형인 BERT와 같은 모델을 공개하여 SQuAD1.1에서 초인간적 성능을 달성했으며, 이후 모델은 SQuAD2.0에서도 성능을 개선했다. SQuAD는 GPT 및 Anthropic의 Claude와 같은 대규모 언어 모델을 포함한 새로운 아키텍처의 표준 테스트베드가 되었으며, 이들은 개발 중 벤치마크에 대해 자주 평가된다.
데이터셋의 영향력은 리더보드를 넘어선다. SQuAD는 다른 언어의 추출형 질의응답 및 다중 문서 QA와 같은 파생 데이터셋과 작업의 생성을 촉진했다. 또한 Natural Questions 및 TriviaQA와 같은 이후 벤치마크 설계에 영향을 주었으며, 이들은 단일 지문 추출이 아닌 개방형 도메인 설정에 초점을 맞춘다. MIT CSAIL, 버클리 AI 연구 및 다른 기관의 연구자들은 SQuAD를 사용하여 모델 견고성, 보정 및 추출적 추론의 한계를 연구했다.
한계 및 비판
성공에도 불구하고 SQuAD는 주목할 만한 한계가 있다. 답변 형식이 연속된 텍스트 스팬으로 제한되어 예/아니오 질문, 개수 또는 문장 간 합성이 필요한 답변을 배제한다. 위키백과에서 파생된 지문은 상대적으로 짧고 자족적이므로, 이 벤치마크는 다중 홉 추론이나 잡음이 있는 실제 텍스트 처리 능력을 테스트하지 않는다. 크라우드워커 생성 질문은 어휘 일치 경향이 있어, 모델이 내용을 진정으로 이해하기보다 질문 단어와 유사한 스팬을 식별하는 학습을 통해 높은 점수를 얻을 수 있다. 이러한 비판은 더 도전적인 벤치마크 개발로 이어졌지만, SQuAD는 기계 독해 및 질의응답 발전 측정의 기본 참조점으로 남아 있다.
유산 및 현재 사용
SQuAD는 여전히 학술 논문에서 자주 인용되며 인공지능의 광범위한 분야에서 기준 평가로 사용된다. 많은 현대 기계 학습 프레임워크는 라이브러리에 SQuAD를 표준 데이터셋으로 포함하며, 자연어 처리 대학 과정에서 흔한 연습 과제이다. 최신 모델은 SQuAD1.1 갤러리에서 90% 이상의 EM 점수를 달성하는 경우가 많지만, 이 벤치마크의 역사적 중요성은 구조화된 독해 작업에서 훈련된 시스템의 능력을 입증한 역할에 있다. 2020년대 초반 현재 SQuAD는 범용 언어 모델 비교의 참조점으로 남아 있지만, GLUE 및 SuperGLUE와 같은 평가 스위트가 더 지배적이 되었다.