SuperGLUE는 자연어 이해(NLU) 모델의 성능을 평가하기 위한 벤치마크 모음이다. 2019년에 출시되었으며, 이전의 GLUE(일반 언어 이해 평가) 벤치마크를 계승하도록 설계되었다. GLUE는 모델이 해당 작업에서 인간 수준의 성능에 근접하거나 초과함에 따라 포화 상태에 이르렀다. SuperGLUE는 추론, 상식 지식, 다중 문장 이해를 요구하는 여덟 가지 더 어려운 작업 세트를 제시하며, 모델의 일반적인 언어 능력을 보다 견고하게 측정하는 것을 목표로 한다.
이 벤치마크는 "SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems"라는 제목의 논문에서 소개되었으며, 저자는 Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, Samuel R. Bowman이다. 이 작업은 뉴욕 대학교, DeepMind, 워싱턴 대학교 간의 협력이었다. 이름은 접착제 브랜드 Super Glue에서 유래한 말장난으로, 모델이 풀기 더 어려운 "더 끈적한" 벤치마크로서의 목적을 반영한다.
작업 및 평가
SuperGLUE는 여덟 가지 작업으로 구성되며, 각각 언어 이해의 서로 다른 측면을 대상으로 한다:
- BoolQ(불리언 질문): 짧은 지문이 주어졌을 때 예/아니오 질문에 답하기.
- CB(CommitmentBank): 전제가 가설에 대해 함의하는지, 모순되는지, 또는 중립적인지 판단하기.
- COPA(그럴듯한 대안 선택): 전제가 주어졌을 때 두 가지 선택지 중 더 그럴듯한 원인 또는 결과를 선택하기.
- MultiRC(다중 문장 읽기 이해): 지문에 대한 여러 질문에 답하며, 각 질문에는 여러 가능한 답이 있다.
- ReCoRD(상식 추론을 통한 읽기 이해): 상식 추론을 사용하여 뉴스 기사에서 마스킹된 개체를 채우기.
- RTE(텍스트 함의 인식): 여러 이전 데이터 세트를 결합한 이진 함의 작업.
- WiC(문맥 내 단어): 두 개의 다른 문장에서 단어가 동일한 의미로 사용되는지 판단하기.
- WSC(Winograd Schema Challenge): 단순 통계 모델에 대해 모호하게 설계된 문장에서 대명사 참조를 해결하기.
각 작업에는 특정 지표가 있다: BoolQ, CB, COPA, RTE, WSC는 정확도, MultiRC와 ReCoRD는 F1 점수, WiC는 정확도를 사용한다. 전체 SuperGLUE 점수는 개별 작업 점수의 평균이며, 각 작업은 동일한 가중치를 가진다.
동기 및 설계
2018년에 출시된 GLUE 벤치마크는 일반 목적 언어 모델 평가의 표준이 되었다. 그러나 2019년 초에는 BERT 및 그 변형과 같은 모델이 GLUE에서 추정된 인간 기준선에 근접하거나 초과하는 점수를 달성하여 모델 간 차별화가 어려워졌다. SuperGLUE는 Winograd Schema Challenge 및 COPA와 같은 상식 지식과 인과 추론을 포함하는 더 도전적이고 더 깊은 추론을 요구하는 작업을 포함하여 이러한 포화를 해결하기 위해 만들어졌다.
작업은 당시 현대 모델에게 너무 어렵다고 간주된 기존 데이터 세트에서 선택되었다. 저자는 또한 벤치마크를 위해 특별히 생성된 새로운 데이터 세트인 ReCoRD를 도입했다. 평가 프레임워크에는 공개 리더보드가 포함되어 연구자들이 표준 지표 세트와 인간 성능 기준선에 대해 모델을 비교할 수 있다.
영향 및 수용
SuperGLUE는 빠르게 Natural language processing 커뮤니티에서 널리 사용되는 벤치마크가 되었다. OpenAI, Google DeepMind, Microsoft (AI)를 포함한 주요 연구 그룹과 기업이 이를 새로운 아키텍처 및 훈련 방법의 표준 테스트베드로 채택했다. 이 벤치마크는 특히 Large language model 시대에 Transformer (architecture) 기반 모델 개발에 중요한 역할을 했다.
2019년 출시 직후 BERT-large 및 XLNet과 같은 모델은 70점대 후반의 점수를 달성했으며, 인간 기준선은 89.8로 추정되었다. 2021년에는 T5 및 DeBERTa와 같은 모델이 인간 기준선을 초과했으며, DeBERTa는 2021년 1월에 90.8점을 달성했다. 이러한 빠른 진전으로 인해 이 벤치마크는 많은 사람들에 의해 "해결된" 것으로 간주되었고, SuperGLUE의 후속인 BIG-bench 및 이후 HELM 벤치마크와 같은 더 어려운 벤치마크의 생성을 촉진했다.
성공에도 불구하고 SuperGLUE는 비판에 직면하기도 했다. 일부 연구자들은 작업이 도전적이기는 하지만 여전히 실제 세계 언어 이해의 복잡성을 완전히 포착하지 못하며, 벤치마크에서 높은 점수가 실제 응용 프로그램에서의 견고한 성능으로 반드시 이어지지는 않는다고 주장했다. 다른 이들은 벤치마크가 영어 전용 작업에 초점을 맞춘 것이 다국어 설정에서의 적용 가능성을 제한한다고 지적했다.
유산 및 후속 작업
SuperGLUE의 유산은 두 가지이다. 첫째, Artificial intelligence 연구를 추진하기 위해 점진적으로 더 어려운 벤치마크를 만드는 것의 가치를 입증했다. 둘째, Machine learning의 빠른 발전 속도를 강조했으며, 모델이 단 2년 만에 인간 수준 이하에서 인간 수준 이상으로 발전했다. 다양한 작업, 명확한 지표, 공개 리더보드를 사용하는 이 벤치마크의 설계 원칙은 GLUE의 후속작, SuperGLUE 자체의 후속작, 그리고 더 넓은 평가 생태계에 채택되었다.
원래 GLUE 벤치마크는 2021년에 은퇴했으며, SuperGLUE의 리더보드는 2022년에 동결되었다. 모델이 계속 개선됨에 따라, 이 벤치마크는 더 이상 활발한 비교를 위한 표준으로 사용되지 않는다. 그러나 작업과 데이터 세트는 연구 및 개발에 계속 사용되고 있으며, 이 벤치마크는 언어 모델 평가의 역사적 이정표로 학술 논문과 산업 보고서에서 여전히 인용된다.