GSM-Hard는 대규모 언어 모델의 수학적 추론 능력을 평가하기 위한 벤치마크 데이터셋이다. 널리 사용되는 GSM8K 데이터셋의 더 어려운 변형으로 도입되었으며, 원본의 중요한 결함인 모델이 실제 문제 해결 없이 정답에 도달하기 위해 악용할 수 있는 피상적 패턴의 존재를 해결하기 위해 설계되었다. 질문을 수정하여 이러한 지름길을 제거함으로써, GSM-Hard는 모델이 다단계 산술 및 논리적 추론을 수행하는 능력에 대한 더 엄격한 테스트를 제공한다.
이 데이터셋은 GSM8K에서 높은 점수를 달성한 많은 최첨단 모델이 종종 문제의 표현과 답 사이의 통계적 상관관계에 의존한다는 것을 관찰한 연구자들에 의해 만들어졌다. 예를 들어, 모델은 "합계"라는 단어가 포함된 질문은 일반적으로 덧셈을 필요로 하거나, 더 긴 문제는 더 큰 숫자 답을 갖는 경향이 있다는 것을 학습할 수 있다. GSM-Hard는 이러한 상관관계를 깨뜨리기 위해 구축되었으며, 모델이 패턴 매칭보다는 실제로 올바른 결과를 계산하도록 강제한다.
GSM-Hard의 주요 수정은 GSM8K 문제의 숫자 값을 더 크고 직관적이지 않은 숫자로 대체하는 것이다. 예를 들어, "3 + 5"와 같은 간단한 덧셈 문제는 "37 + 82"가 될 수 있다. 이 변경만으로도 작은 숫자를 단순한 연산과 연관시키는 것과 같은 모델이 학습하는 많은 휴리스틱을 방해한다. 더 중요하게는, 수정은 원래 문제의 답이 더 이상 유효한 지름길이 되지 않도록 설계되었다. 모델이 이전에 일반적인 숫자 패턴을 인식하여 답을 추측했다면, 그 경로는 이제 차단된다.
구성 및 설계
GSM-Hard의 구성은 간단하지만 효과적이다. 원본 GSM8K 데이터셋에는 각각 자연어 질문과 최종 숫자 답이 있는 8,500개의 초등학교 수준 수학 문제가 포함되어 있다. GSM-Hard의 창시자는 각 문제를 가져와 숫자를 체계적으로 새 숫자로 대체했다. 핵심 제약 조건은 새 숫자가 암기를 방지할 만큼 충분히 커야 하지만, 모델이 기본 산술로 풀기에 계산적으로 불가능하지 않을 만큼 너무 크지 않아야 한다는 것이었다. 그 결과는 GSM8K와 동일한 언어 구조와 추론 단계를 유지하지만 완전히 다른 숫자 내용을 가진 데이터셋이다.
이 접근 방식은 더 복잡한 논리적 단계를 추가하여 난이도를 높이는 것이 아니라, 모델이 종종 악용하는 통계적 규칙성을 제거하여 난이도를 높인다. 문제는 여전히 동일한 연산 순서(예: 덧셈, 뺄셈, 곱셈, 나눗셈)를 요구하지만 특정 값은 익숙하지 않다. 이는 대규모 텍스트 코퍼스에서 훈련된 모델이 훈련 데이터에서 유사한 문제를 단순히 회상하는 것을 훨씬 어렵게 만든다.
평가 및 영향
GSM-Hard는 인공지능 연구 분야에서 빠르게 표준 평가 도구가 되었다. GSM-Hard에서 테스트했을 때, GSM8K에서 좋은 성능을 보인 많은 모델이 정확도에서 급격한 하락을 보였다. 예를 들어, GSM8K에서 80% 정확도를 달성한 모델은 GSM-Hard에서 50%만 달성할 수 있다. 이러한 차이는 모델이 진정한 추론보다는 지름길에 의존하는 정도를 강조했다.
이 벤치마크는 다양한 모델 아키텍처, 즉 트랜스포머 및 다른 전략으로 훈련된 신경망의 성능을 비교하는 데 사용되었다. 또한 모델이 단계별로 작업 과정을 보여주도록 장려하는 Chain-of-thought 프롬프팅과 같은 기술 개발에도 중요한 역할을 했다. 연구에 따르면 chain-of-thought 프롬프팅은 GSM-Hard 성능을 크게 향상시킬 수 있으며, 이는 모델이 더 신중하고 순차적인 추론에 참여하도록 돕는다는 것을 시사한다.
다른 벤치마크와의 관계
GSM-Hard는 MATH, ARC, MMLU를 포함하는 더 광범위한 추론 벤치마크 계열의 일부이다. GSM8K가 초등학교 수준 산술에 초점을 맞추는 반면, GSM-Hard는 지름길을 제거하여 기준을 높인다. MATH와 같은 다른 벤치마크는 더 고급 수학 문제를 포함하지만, GSM-Hard는 지름길 학습이라는 특정 문제를 분리하기 때문에 여전히 인기가 있다. GSM8K와 함께 자주 사용되어 과적합되기 쉬운 데이터셋과 더 견고한 데이터셋의 쌍 비교를 제공한다.
이 벤치마크는 또한 읽기 이해 및 시각적 질문 응답과 같은 다른 영역에서 유사한 적대적 데이터셋의 생성을 촉진했다. 통계적 편향을 제거하기 위해 데이터셋을 수정하는 원칙은 머신러닝 평가 분야에서 일반적인 기술이 되었다.
한계 및 비판
유용성에도 불구하고 GSM-Hard에는 한계가 있다. 일부 연구자들은 숫자를 더 큰 숫자로 대체하는 것이 모든 지름길을 완전히 제거하지는 않는다고 주장한다. 예를 들어, 모델은 여전히 문제의 길이를 필요한 단계 수와 연관시킬 수 있다. 또한 이 벤치마크는 산술 추론만 테스트하며 다른 형태의 논리적 또는 추상적 사고를 다루지 않는다. 수정이 문제를 인위적으로 어렵게 만드는지에 대한 의문도 있다. 기본 추론은 GSM8K와 동일하지만 숫자가 덜 친숙할 뿐이다.
또 다른 비판은 GSM-Hard가 모델이 데이터셋 자체에 미세 조정될 수 있다는 사실을 고려하지 않는다는 것이다. 모델이 GSM-Hard의 훈련 분할에서 훈련되면 답을 암기할 수 있어 목적을 무산시킨다. 이를 완화하기 위해 벤치마크는 일반적으로 모델이 특정 문제를 본 적이 없는 zero-shot 또는 few-shot 설정에서 사용된다.
향후 방향
GSM-Hard의 개발은 더 견고한 벤치마크를 만들기 위한 추가 연구를 촉발했다. GSM-Plus 및 MathQA와 같은 최신 데이터셋은 표현 변경 및 관련 없는 정보 도입을 포함한 추가 유형의 교란을 통합했다. 이러한 노력은 지름길 학습에 진정으로 저항하는 평가 세트를 만들어 모델이 패턴 매칭보다는 진정한 이해를 보여주도록 분야를 추진하는 것을 목표로 한다.
생성형 AI가 계속 발전함에 따라 GSM-Hard와 같은 벤치마크는 진행 상황을 측정하는 데 여전히 중요할 것이다. 이는 모델 성능의 개선이 더 나은 추론 때문인지 단순히 더 나은 암기 때문인지에 대한 명확한 신호를 제공한다. GSM-Hard의 유산은 평가가 테스트 대상 모델만큼 엄격해야 한다는 것을 입증한 것이다.