SQuAD v1.1(Stanford Question Answering Dataset)은 추출적 독해와 질의응답을 위한 널리 사용되는 벤치마크 데이터셋이다. 이 데이터셋은 536개의 위키백과 문서를 기반으로 크라우드워커들이 생성한 10만 개 이상의 질문-답변 쌍으로 구성된다. 이 작업은 모델이 주어진 지문 내에서 정답을 연속된 텍스트 구간으로 식별하도록 요구하며, 자연어 이해 시스템의 기초적인 평가 기준이 된다.
이 데이터셋은 2016년 스탠포드 AI 연구소의 연구자들에 의해 소개되었으며, 초기 버전은 2016년 6월에, v1.1 업데이트는 2016년 12월에 공개되었다. 이는 인간의 성능에 더 가까운 수준으로 텍스트를 읽고 이해할 수 있는 모델의 개발을 장려하기 위해 설계되었다. 질문들은 외부 지식 없이 제공된 문단만으로 답할 수 있도록 설계되었으며, 각 질문에는 단 하나의 정답 구간이 존재한다.
구조 및 생성
SQuAD v1.1은 과학, 역사, 전기 등 다양한 주제를 다루는 영어 위키백과의 536개 문서를 선택하여 구축되었다. Amazon Mechanical Turk의 크라우드워커들은 각 문단을 읽고 질문과 해당 답변을 생성하도록 요청받았다. 각 답변은 지문의 축어적 구간이어야 하며, 이를 통해 데이터셋이 추출적 QA 작업에 사용될 수 있도록 보장했다. 최종 데이터셋은 107,785개의 질문-답변 쌍으로 구성되며, 훈련 세트 87,599쌍, 개발 세트 10,570쌍, 그리고 공식 평가에 사용되는 비공개 테스트 세트로 나뉜다.
이 데이터셋은 who, what, when, where, why, how와 같은 다양한 질문 유형을 포함한다. 이러한 다양성은 모델이 개체 인식, 시간적 추론, 인과 추론을 포함한 다양한 유형의 추론을 수행하도록 도전한다. 답변 구간은 단일 토큰에서 여러 문장에 이르기까지 다양하지만, 대부분은 짧은 구절이다.
평가 지표
모델은 두 가지 주요 지표인 Exact Match(EM)와 F1 점수로 평가된다. EM은 구두점과 관사를 무시하고 예측이 정답과 정확히 일치하는 비율을 측정한다. F1 점수는 예측 토큰과 정답 토큰 간의 정밀도와 재현율의 조화 평균을 계산하며, 부분 일치에 보상을 주는 더 관대한 지표를 제공한다. 이러한 지표는 독해 분야의 표준이 되었으며 많은 후속 데이터셋에서 사용된다.
SQuAD v1.1에 대한 인간의 성능은 EM 82.3, F1 91.2로 추정되며, 모델 비교를 위한 기준점을 제공한다. 초기 모델들은 F1 50%를 넘는 데 어려움을 겪었지만, 딥러닝과 신경망 아키텍처의 빠른 발전으로 몇 년 안에 상당한 개선이 이루어졌다.
영향 및 유산
SQuAD v1.1은 머신러닝과 인공지능 연구를 발전시키는 데 중추적인 역할을 했다. 이는 연구자들이 모델 성능을 객관적으로 비교할 수 있게 해주는 표준화된 대규모 벤치마크를 제공했다. 이 데이터셋은 이후 현대 대규모 언어 모델의 기초가 된 Transformer 기반 모델을 포함한 많은 영향력 있는 아키텍처의 개발을 촉진했다.
특히, SQuAD v1.1의 공개는 자연어 처리에서 주의 메커니즘과 멀티 헤드 어텐션의 부상과 시기를 같이했다. BiDAF(Bidirectional Attention Flow)와 이후 BERT와 같은 모델은 이 벤치마크에서 최첨단 결과를 달성하여 사전 훈련 및 미세 조정 패러다임의 힘을 입증했다. SQuAD v1.1에서 이러한 모델들의 성공은 인코더-디코더 및 시퀀스-투-시퀀스 프레임워크의 효과를 검증하는 데 도움이 되었다.
이 데이터셋은 또한 답할 수 없는 질문을 추가하여 모델 견고성을 테스트한 SQuAD v2.0을 포함한 후속 벤치마크의 생성에 영향을 미쳤다. RACE 및 TriviaQA와 같은 많은 다른 독해 데이터셋도 유사한 원칙으로 설계되었지만, SQuAD v1.1은 이 분야에서 가장 많이 인용되고 널리 사용되는 벤치마크 중 하나로 남아 있다.
한계 및 비판
성공에도 불구하고 SQuAD v1.1에는 몇 가지 한계가 있다. 작업의 추출적 특성은 모델이 새로운 답변을 생성하기보다 텍스트 구간을 식별하기만 하면 된다는 것을 의미한다. 이는 정보를 찾는 데 능숙하지만 정보를 종합하거나 추론하는 데는 덜 능숙한 모델로 이어질 수 있다. 데이터셋은 또한 위키백과 문서에 의존하므로 주제 범위와 작성 스타일에 편향이 도입될 수 있다.
또한 크라우드소싱된 질문은 때때로 모호성을 포함하거나 지문에 명시적으로 언급되지 않은 상식적 추론을 요구할 수 있다. 모델이 개선됨에 따라 인간과 기계 성능 간의 격차가 좁혀져 최고 성능 시스템을 구별하는 데이터셋의 능력에 대한 우려가 제기되었다. 이러한 문제는 더 도전적인 벤치마크의 생성과 추출적 답변을 넘어서는 생성형 AI 접근 방식의 탐구를 촉진했다.