SQuAD 2.0(스탠퍼드 질의응답 데이터셋, 버전 2.0)은 자연어 처리 시스템의 독해 능력을 평가하기 위해 널리 사용되는 벤치마크이다. 2018년 스탠퍼드 대학교 연구진이 공개한 이 데이터셋은 원래 SQuAD 1.1 데이터셋을 기반으로 하여, 답변 불가능한 질문이라는 핵심적인 도전 과제를 도입했다. SQuAD 2.0에서는 각 문단에 질문들이 짝지어지며, 그중 일부는 본문에 답이 존재하지 않아 모델이 정확한 구간을 추출할 뿐만 아니라 질문에 답할 수 없는 경우를 인식해야 한다. 이러한 설계는 단순한 패턴 매칭을 넘어 정보의 존재 여부에 대해 추론하는 시스템의 능력을 직접적으로 시험한다.
이 데이터셋은 500개 이상의 위키백과 문서에서 파생된 100,000개 이상의 질문-답변 쌍으로 구성된다. 구체적으로, SQuAD 1.1에서 유지된 약 50,000개의 답변 가능한 질문과 크라우드워커가 적대적으로 작성한 추가 50,000개의 답변 불가능한 질문을 포함한다. 이러한 답변 불가능한 질문은 그럴듯하게 작성되며 답변 가능한 질문과 유사한 스타일을 가지며, 종종 관련되지만 부정확한 개체나 사실을 사용하여 작업을 훨씬 더 어렵게 만든다. SQuAD 2.0의 평가 지표는 모델의 예측 답변이 정답과 정확히 일치해야 하는 Exact Match(EM) 점수와 예측과 실제 답변 간의 토큰 중복을 측정하는 F1 점수이다. 답변 불가능한 질문의 경우, 모델이 "답변 없음"(빈 구간)을 예측할 때만 점수를 받는다.
배경 및 동기
2016년에 공개된 원래 SQuAD 1.1은 추출적 질의응답의 사실상 표준이 되었으며, 모델은 문단과 질문이 주어지면 답변으로 연속된 텍스트 구간을 선택해야 한다. 그러나 이러한 설정에는 중요한 한계가 있었다. 모든 질문이 제공된 맥락에 답이 있다는 보장이 있었기 때문이다. 이로 인해 모델은 데이터셋의 구조를 이용하여 진정한 이해보다는 피상적인 어휘적 단서에 의존할 수 있었다. 이를 해결하기 위해 Pranav Rajpurkar와 Percy Liang이 이끄는 SQuAD 2.0 제작자들은 답변 불가능한 질문을 도입했다. 목표는 사용자가 제공된 문서에 답이 없는 질문을 할 수 있는 실제 세계 시나리오를 반영하는 더 현실적인 평가를 만드는 것이었으며, 강력한 시스템은 답변을 지어내기보다 "모르겠다"고 말할 수 있어야 한다.
데이터셋 구축
SQuAD 2.0의 구축은 두 단계 과정을 포함한다. 첫째, 답변 가능한 질문은 SQuAD 1.1에서 직접 가져왔으며, 이는 크라우드워커가 문단을 보고 본문의 구간으로 답할 수 있는 질문을 작성하도록 지시받아 생성되었다. 둘째, 각 문단에 대해 추가 크라우드워커가 답변 불가능한 질문을 작성하는 작업을 맡았다. 그들은 문법적으로 올바르고 문단의 주제와 관련되며 그럴듯하지만 문단의 어떤 구간도 정확한 답을 제공하지 않는 질문을 만들도록 지시받았다. 품질을 보장하기 위해 작업자에게 좋은 예와 나쁜 예의 답변 불가능한 질문이 제공되었다. 최종 데이터셋은 필터링 및 검증을 거쳐 각 문단에 대해 답변 가능한 질문과 답변 불가능한 질문의 균형 잡힌 분할을 이루었다. 문단 자체는 역사, 과학, 문화를 포함한 다양한 주제를 다루는 위키백과 문서에서 출처를 얻었다.
모델 개발에 미친 영향
SQuAD 2.0은 머신 러닝 및 자연어 처리 분야에 지대한 영향을 미쳤다. 이는 독해 모델을 평가하는 표준 벤치마크로 빠르게 자리 잡았으며, 그 도입은 답변 불가능한 질문을 처리하는 연구를 크게 촉진했다. 순환 신경망과 어텐션 메커니즘에 기반한 초기 모델들은 새로운 도전 과제에 어려움을 겪었으며, 종종 답이 없음에도 불구하고 답변을 예측했다. 이 벤치마크는 "답변 없음" 분류기를 통합하거나 답변 구간의 신뢰도 점수에 임계값을 사용하는 더 정교한 아키텍처의 개발을 주도했다. 2018년 후반 트랜스포머 기반 모델, 특히 BERT(Bidirectional Encoder Representations from Transformers)의 공개는 SQuAD 2.0에서 빠른 개선을 가져왔다. 대규모 말뭉치에 대한 BERT의 사전 훈련은 답변 가능한 질문에서 인간에 가까운 성능을 달성하고 답변 불가능한 질문에서도 훨씬 더 나은 성능을 보여 최첨단을 갱신했다.
평가 및 중요성
SQuAD 2.0은 이전 버전보다 더 어렵고 현실적인 벤치마크로 간주된다. 답변 불가능한 질문의 포함은 모델의 논리적 추론 능력과 관련 정보와 무관한 정보를 구별하는 능력을 시험한다. 모든 질문에 대해 답변을 추측하는 모델은 모든 답변 불가능한 사례에서 실패하므로 낮은 점수를 받을 것이다. 이 벤치마크는 전통적인 특징 기반 시스템부터 현대 대규모 언어 모델까지 다양한 모델을 비교하는 데 사용되었다. 2024년 현재 SQuAD 2.0에서 최고 성능을 보이는 모델은 약 86.8% EM으로 추정되는 인간 성능을 능가하는 90% 이상의 EM 점수를 달성한다. 그러나 이러한 높은 점수에도 불구하고 연구자들은 모델이 여전히 취약할 수 있으며 적대적 예시나 분포 외 데이터에서 실패할 수 있다고 지적한다. SQuAD 2.0은 독해 평가를 위한 기초 자원으로 남아 있으며 연구 논문에서 계속 인용되고 인공지능 관련 학술 과정에서 사용된다.
한계 및 향후 방향
널리 사용됨에도 불구하고 SQuAD 2.0에는 한계가 있다. 데이터셋은 추출적이므로 답변이 본문의 연속된 구간이어야 하며, 이는 많은 현대 질의응답 시스템의 생성적 특성을 반영하지 못한다. 또한 특정 스타일과 구조를 가진 위키백과 문서에 의존하므로 다른 도메인으로의 일반화를 제한할 수 있다. 더욱이 신중하게 작성된 답변 불가능한 질문은 모호하거나 여러 출처의 정보 종합을 요구할 수 있는 실제 세계 질문의 복잡성을 완전히 포착하지 못할 수 있다. 이에 대응하여 Natural Questions 및 RACE와 같은 새로운 벤치마크가 도입되었지만 SQuAD 2.0은 여전히 핵심 참조 지점으로 남아 있다. 향후 연구 방향은 SQuAD 2.0이 놓은 기반 위에 개방형 질문을 처리하고 답변에 대한 설명을 제공하며 충분한 정보가 부족할 때 이를 강건하게 감지할 수 있는 모델을 개발하는 것을 포함한다.