CommonsenseQA는 인공지능 시스템의 상식 추론 능력을 평가하기 위한 벤치마크 데이터셋이다. 2019년 워싱턴 대학교와 앨런 인공지능 연구소의 연구자들이 공개했으며, 각각 하나의 정답과 네 개의 오답 선택지로 구성된 12,247개의 객관식 질문을 포함한다. 이 데이터셋은 기존 자연어 처리 벤치마크들이 주로 사실 회상이나 구문 이해에 초점을 맞춘 나머지 세계에 대한 일상적 지식을 적용하는 모델의 능력을 충분히 시험하지 못한다는 한계를 보완하기 위해 설계되었다.
CommonsenseQA의 질문들은 일상적 개념 간의 관계를 인코딩하는 대규모 의미 네트워크인 ConceptNet 지식 그래프에서 생성되었다. 각 질문은 '개는 동물이다' 또는 '비가 오면 우산을 사용한다'와 같은 ConceptNet의 삼중항(triple)을 기반으로 한다. 데이터셋 제작자들은 크라우드소싱 작업자를 고용하여 이러한 삼중항을 자연어 질문으로 변환하고, 그럴듯하지만 틀린 답변 선택지를 생성하게 했다. 이러한 과정을 통해 질문이 단순한 패턴 매칭이나 암기가 아닌 진정한 상식 추론을 요구하도록 보장한다.
구축 및 설계
CommonsenseQA의 구축은 다단계 파이프라인으로 진행되었다. 먼저 연구자들은 일상적 개념을 포함하는 ConceptNet 삼중항 집합을 선별했다. 그런 다음 Amazon Mechanical Turk를 활용하여 작업자들이 삼중항에서 올바른 관계를 추론할 수 있는지 시험하는 질문을 작성하도록 했다. 각 질문에 대해 작업자들은 정답과 의미적으로 관련이 있지만 질문 맥락에서는 틀린 네 개의 오답 선택지도 생성했다. 이러한 적대적 설계 방식은 벤치마크의 난이도를 높이며, 오답 선택지들이 종종 그럴듯해 보이지만 실제로는 틀리도록 만든다.
최종 데이터셋은 훈련용, 개발용, 테스트용 집합으로 분할되었다. 훈련 집합은 9,741개의 질문을, 개발 집합은 1,221개의 질문을, 테스트 집합은 1,241개의 질문을 포함한다. 테스트 집합은 공개적으로 배포되지 않으며, 연구자들은 평가 서버에 모델을 제출하여 결과를 얻어야 한다. 이러한 방식은 과적합을 방지하는 데 도움이 된다.
평가 및 영향
CommonsenseQA는 대규모 언어 모델 및 기타 AI 시스템을 평가하는 표준 벤치마크로 빠르게 자리 잡았다. 초기 연구 결과에 따르면 당시 최첨단 모델들조차 다섯 개 선택지 객관식 문제에서 무작위 추측의 정확도인 20%보다 약간 높은 성능만을 보였다. 이는 AI 시스템에게 상식 추론이 얼마나 어려운 과제인지를 강조했다.
이후 후속 연구들은 성능을 크게 개선했다. 관련 ConceptNet 삼중항을 검색하거나 그래프 신경망을 사용하는 등 외부 지식을 통합한 모델들은 더 높은 정확도를 달성했다. GPT-3 및 이후 모델들을 포함한 더 큰 사전 훈련 모델의 도입도 상당한 성능 향상으로 이어졌다. 2021년까지 일부 모델들은 개발 집합에서 약 80%의 정확도에 근접했지만, 인간의 성능은 약 91%로 추정된다.
다른 벤치마크와의 관계
CommonsenseQA는 Winograd Schema Challenge, SWAG, HellaSwag 등을 포함하는 더 넓은 상식 추론 벤치마크 계열의 일부이다. 이러한 벤치마크들이 대명사 해석이나 문장 완성에 초점을 맞추는 반면, CommonsenseQA는 다양한 일상 시나리오를 다루는 객관식 질문 응답을 명시적으로 테스트한다. 이 데이터셋은 OpenAI, Anthropic, Google DeepMind와 같은 기업들이 개발한 범용 AI 시스템을 평가할 때 다른 데이터셋들과 함께 사용되기도 한다.
또한 이 데이터셋은 확장 및 변형되기도 했다. 예를 들어, 2021년에 공개된 CommonsenseQA 2.0 변형은 생성 모델에 기반한 다른 질문 생성 방식을 사용한다. 또한 연구자들은 표면적 단서에 의존하는 모델을 시험하기 위해 질문을 더 어렵게 수정한 적대적 분할(adversarial splits)을 만들기도 했다.
한계 및 비판
CommonsenseQA는 널리 사용됨에도 불구하고 비판을 받아왔다. 일부 연구자들은 데이터셋에 편향이 존재한다고 지적했다. 예를 들어, 특정 답변 선택지가 더 자주 등장하거나, 정답이 더 길거나 더 구체적인 경향이 있을 수 있다. 모델들은 진정한 추론 없이도 이러한 통계적 규칙성을 활용할 수 있다. 또한 모든 질문이 영어로 작성되었고 서구 중심의 상식 관점을 반영하기 때문에, 다른 문화와 언어에는 적용 가능성이 제한적이다.
또 다른 한계는 데이터셋이 정적이라는 점이다. 상식 지식은 진화하는 속성을 지니며, 세계가 변화함에 따라 상식으로 여겨지는 것도 달라질 수 있다. 그러나 벤치마크는 고정되어 있어 이러한 변화를 반영하지 못한다. 이에 따라 일부 연구자들은 보다 역동적이고 다양한 평가 방법을 도입할 것을 제안하고 있다.
현재의 용도
2020년대 중반 현재, CommonsenseQA는 Artificial intelligence 및 Machine learning 연구 커뮤니티에서 널리 사용되는 벤치마크로 남아 있다. 대규모 언어 모델의 평가 제품군에 자주 포함되며, MMLU 및 BIG-bench와 같은 다른 벤치마크들과 함께 사용된다. 데이터셋은 연구 목적으로 자유롭게 이용할 수 있으며 Hugging Face와 같은 플랫폼에서 호스팅되어 연구자들이 쉽게 접근하고 사용할 수 있다.
CommonsenseQA는 또한 모델의 추론 능력을 더 자세히 연구하는 데 사용되기도 한다. 예를 들어, 연구자들은 공간적, 시간적, 사회적 지식 등 어떤 유형의 상식 지식이 모델에게 가장 어려운지 분석했다. 또한 Transformer (architecture) 기반 모델의 내부 표현을 조사하기 위해 이 데이터셋을 활용하기도 했다. 이러한 지속적인 연구는 더 강력하고 유능한 AI 시스템 개발에 기여하고 있다.