XNLI(교차 언어 자연어 추론)는 자연어 처리 모델이 여러 언어에 걸쳐 자연어 추론을 수행하는 능력을 평가하기 위해 설계된 벤치마크 데이터셋이다. 2018년 Facebook AI Research의 연구자들이 소개한 이 데이터셋은 교차 언어 이해를 위한 표준 평가 도구가 되었으며, 특히 한 언어로 훈련된 모델이 추가적인 작업별 훈련 데이터 없이도 다른 언어로 일반화할 수 있는지 테스트하는 데 중점을 둔다. 이 데이터셋은 영어, 프랑스어, 스페인어, 독일어, 그리스어, 불가리아어, 러시아어, 터키어, 아랍어, 베트남어, 태국어, 중국어, 힌디어, 스와힐리어, 우르두어를 포함한 15개 언어를 다룬다.
자연어 추론은 텍스트 함의라고도 하며, 주어진 가설이 전제에 의해 함의되는지, 모순되는지, 또는 중립적인지를 판단하는 작업이다. XNLI는 15개 언어 각각에서 전제-가설 쌍을 제공하며, 각 쌍은 함의, 모순, 중립의 세 가지 범주 중 하나로 레이블이 지정된다. 이 데이터셋은 영어 문장 쌍을 포함하는 MultiNLI 말뭉치를 기반으로 하며, 개발 및 테스트 세트를 전문 인간 번역가를 통해 다른 14개 언어로 번역하여 확장한다. 이러한 설계는 연구자들이 영어 데이터로 훈련된 모델을 비영어 언어로 테스트하는 교차 언어 전이와 제로샷 및 퓨샷 학습 시나리오를 평가할 수 있게 한다.
구성 및 구조
XNLI 데이터셋은 MultiNLI 말뭉치에서 5,000개의 개발 및 5,000개의 테스트 전제-가설 쌍을 선택하여 구축되었다. 각 쌍은 전문 번역가에 의해 영어에서 다른 14개 언어로 번역되어 높은 언어적 품질과 문화적 적절성을 보장한다. 그러나 훈련 데이터는 390,000개 이상의 쌍을 포함하는 원래 MultiNLI 훈련 세트에서 가져온 영어로 유지된다. 이러한 설정은 모델이 영어로 추론 학습을 수행한 다음 이를 다른 언어에 적용하도록 강제하여 XNLI를 교차 언어 일반화에 대한 엄격한 테스트로 만든다.
15개 언어는 인도유럽어족(영어, 프랑스어, 스페인어, 독일어, 그리스어, 불가리아어, 러시아어, 터키어, 힌디어, 우르두어), 아프로아시아어족(아랍어), 중국티베트어족(중국어), 오스트로아시아어족(베트남어), 크라다이어족(태국어), 니제르콩고어족(스와힐리어)을 포함한 다양한 어족과 문자 체계를 대표하도록 선택되었다. 이러한 다양성은 모델이 형태론적, 통사적, 문자적 변이를 처리하도록 도전한다. 각 언어 하위 집합은 동일한 10,000개 쌍(개발 5,000개 및 테스트 5,000개)을 포함하여 언어 간 직접 비교를 가능하게 한다.
평가 지표 및 사용 사례
XNLI는 일반적으로 전제-가설 쌍의 올바르게 분류된 비율을 측정하는 정확도를 사용하여 평가된다. 이 데이터셋은 두 가지 주요 평가 프로토콜을 지원한다: 훈련 데이터를 대상 언어로 기계 번역하는 translate-train과 테스트 세트를 영어로 번역하는 translate-test이다. translate-train 접근 방식은 더 일반적이며 저자원 언어에서 레이블이 지정된 데이터가 부족한 실제 시나리오를 반영한다. 연구자들은 또한 영어로만 훈련된 모델이 대상 언어 훈련 데이터 없이 다른 언어에서 직접 평가되는 제로샷 교차 언어 전이를 평가하기 위해 XNLI를 사용한다.
이 데이터셋은 다국어 모델의 발전에 중요한 역할을 해왔다. 예를 들어, 다국어 BERT 및 XLM과 같은 모델은 이전 접근 방식보다 XNLI에서 상당한 개선을 보고했으며, 언어 전반에 걸쳐 평균 정확도가 약 60%에서 70% 이상으로 상승했다. 2023년 기준으로 GPT-4 및 PaLM과 같은 최첨단 대규모 언어 모델은 XNLI에서 85% 이상의 정확도를 달성했지만, 성능은 여전히 언어에 따라 다르며, 스와힐리어 및 우르두어와 같은 저자원 언어는 프랑스어 및 독일어와 같은 고자원 언어보다 낮은 점수를 보이는 경향이 있다.
다른 벤치마크와의 관계
XNLI는 질문 응답 및 개체명 인식과 같은 여러 작업을 통합하는 XGLUE 및 XTREME을 포함한 더 넓은 교차 언어 이해 벤치마크 계열의 일부이다. XNLI는 깔끔한 설계와 명확한 평가 지표로 인해 이러한 더 큰 벤치마크에서 핵심 구성 요소로 자주 사용된다. 이는 SNLI 및 MultiNLI와 같은 다른 자연어 추론 데이터셋을 다국어 차원을 추가하여 보완하며, 교차 언어 표현 학습 및 전이 학습에 대한 연구를 가능하게 한다.
이 데이터셋은 또한 다국어 사전 훈련 목표의 개발에 영향을 미쳤다. 여러 언어에 걸쳐 마스크된 언어 모델링으로 모델을 훈련하는 교차 언어 언어 모델 사전 훈련과 같은 기술은 XNLI에서 직접 평가되었다. 이 벤치마크는 수천 편의 연구 논문에서 인용되었으며, 다국어 자연어 처리 분야의 기초 자원이 되었다.
한계 및 비판
널리 사용됨에도 불구하고 XNLI에는 한계가 있다. 이 데이터셋은 영어 원문에서 파생되었으므로 비영어 버전은 원문이 아닌 번역이며, 해당 언어의 자연스러운 사용을 반영하지 않는 번역체 인공물을 도입할 가능성이 있다. 또한 전제-가설 쌍은 상대적으로 짧으며 실제 응용 프로그램에서 요구되는 복잡한 추론을 포착하지 못할 수 있다. 일부 연구자들은 XNLI에서 높은 정확도가 생성이나 대화와 같은 다른 작업에서 견고한 교차 언어 이해로 반드시 이어지지 않는다고 지적했다. 고정된 15개 언어 세트는 또한 많은 저자원 언어를 제외하여 진정한 저자원 시나리오에 대한 적용 가능성을 제한한다.
영향 및 유산
XNLI는 기계 학습 커뮤니티에서 교차 언어 평가를 대중화하는 데 중추적인 역할을 했다. 이는 XLM-R 및 mT5를 포함한 다국어 트랜스포머 모델의 개발을 위한 핵심 동인이었으며, 이들은 벤치마크에서 새로운 표준을 설정했다. 이 데이터셋은 연구 목적으로 공개적으로 이용 가능하며 Hugging Face의 datasets 및 PyTorch와 같은 인기 있는 라이브러리에 통합되어 쉬운 접근과 재현성을 촉진한다. 그 설계는 다른 작업의 다국어 버전 생성과 같은 유사한 노력에 영감을 주었으며, 교차 언어 자연어 이해의 진전을 측정하는 표준 참조 지점으로 남아 있다.