QNLI(Question Natural Language Inference)는 인공지능 및 기계 학습 분야의 벤치마크 데이터셋이다. 이는 GLUE(General Language Understanding Evaluation) 벤치마크의 일부로 도입되었으며, GLUE는 다양한 자연어 이해 과제에서 모델의 성능을 평가하기 위해 설계된 작업 모음이다. 이 데이터셋은 스탠포드 질의응답 데이터셋(SQuAD), 특히 v1.1 버전에서 파생되었으며, 질의응답 작업을 이진 분류 문제로 변환한다.
QNLI의 핵심 작업은 주어진 문장이 주어진 질문에 대한 답변을 포함하는지 여부를 판단하는 것이다. 각 예제는 질문과 문장으로 구성되며, 모델은 해당 쌍을 '함의'(문장이 답변을 제공함) 또는 '비함의'(문장이 답변을 제공하지 않음)로 분류해야 한다. 이러한 구성은 원래의 추출적 질의응답 작업을 자연어 추론 문제로 변환하며, 이것이 Question Natural Language Inference라는 이름의 유래이다.
기원 및 구축
QNLI는 2018년에 출시된 GLUE 벤치마크의 일부로 스탠포드 AI 연구실 팀에 의해 만들어졌다. 이 데이터셋은 SQuAD v1.1에서 질문-답변 쌍을 가져와 각 질문을 해당 맥락의 문장과 짝지어 구축되었다. 각 질문에 대해 정답을 포함하는 문장은 '함의'로, 같은 맥락의 다른 문장은 '비함의'로 레이블링되었다. 이 과정을 통해 긍정 및 부정 예제가 거의 동일한 비율로 구성된 균형 잡힌 데이터셋이 생성된다.
원래 SQuAD 데이터셋은 위키백과 문서를 기반으로 한 100,000개 이상의 질문-답변 쌍을 포함한다. QNLI의 경우, 제작자들은 하위 집합을 선택하여 재구성했으며, 그 결과 약 108,000개의 훈련 예제와 5,700개의 검증 예제가 생성되었다. 테스트 세트는 비공개로 유지되며, 벤치마크의 9개 작업 전체에 걸친 성능을 추적하는 공식 GLUE 리더보드에 사용된다.
작업 정의 및 평가
QNLI에서 각 입력은 질문과 문장이라는 두 개의 텍스트 세그먼트 쌍이다. 모델은 문장이 질문에 대한 답변을 함의하는지 여부를 나타내는 이진 레이블을 출력해야 한다. 평가 지표는 정확도로, 올바르게 분류된 쌍의 비율을 측정한다. 이 간단한 지표 덕분에 다양한 모델과 접근 방식 간의 비교가 용이하다.
이 작업은 모델의 자연어 추론 능력과 질문과 텍스트 조각 간의 관계를 이해하는 능력을 테스트하도록 설계되었다. 모델은 관련 정보를 식별할 뿐만 아니라 정보가 질문에 직접 답변하는지 여부를 추론해야 한다. 여기에는 구문 및 의미론적 이해와 더불어 패러프레이즈 및 재구성된 질문을 처리하는 능력이 포함된다.
GLUE 벤치마크에서의 역할
QNLI는 범용 언어 이해 모델에 대한 표준화된 평가를 제공하기 위해 도입된 GLUE 벤치마크의 9개 작업 중 하나이다. 이 벤치마크에는 감정 분석, 텍스트 함의, 질의응답 등의 작업이 포함되며, 각각 고유한 데이터셋과 평가 지표를 가진다. GLUE는 단일 작업에 특화된 모델보다 여러 작업에서 우수한 성능을 발휘할 수 있는 모델의 개발을 장려하기 위해 설계되었다.
출시 이후 QNLI는 트랜스포머 기반 모델 및 대규모 언어 모델을 평가하는 표준 테스트베드가 되었다. BERT, RoBERTa, T5와 같은 많은 저명한 모델이 벤치마크 결과의 일부로 QNLI 성능을 보고했다. 이 작업은 또한 GLUE의 더 도전적인 후속 버전인 SuperGLUE 벤치마크에도 포함되었으며, 여기서는 BoolQ라는 이름으로 다르게 구성되었다.
영향 및 중요성
QNLI의 도입은 자연어 처리 분야에 상당한 영향을 미쳤다. 질의응답 작업을 분류 문제로 변환함으로써, 모델의 독해 이해 및 추론 능력을 평가하는 더 간단하면서도 효과적인 방법을 제공했다. 이는 연구자들이 아키텍처와 훈련 기법을 빠르게 반복할 수 있게 하여 모델 개발의 급속한 진전을 촉진했다.
또한 QNLI는 공지시 해석 및 논리적 추론과 같은 복잡한 언어 현상을 모델이 얼마나 잘 처리할 수 있는지에 대한 더 넓은 이해에 기여했다. 또한 모델이 깊은 이해보다 표면적 단서에 의존하는 경향과 같은 약점을 식별하는 진단 도구로도 사용되었다. 그 결과, 더 새롭고 복잡한 데이터셋이 도입되었음에도 불구하고 여전히 관련성 있는 벤치마크로 남아 있다.