GSM8K(학년 수준 수학 8K)는 8,500개의 고품질이고 언어적으로 다양한 초등학교 수준의 수학 응용 문제로 구성된 데이터셋으로, OpenAI의 연구자들이 만들고 2021년에 공개했다. 이 데이터셋은 대규모 언어 모델(LLM)의 다단계 수학적 추론 능력을 평가하기 위해 설계되었다. 각 문제는 기본 산술 연산과 논리적 추론을 포함하는 2~8단계의 풀이 과정이 필요하며, 고급 수학 지식보다는 자연어 이해에 초점을 맞춘다.
이 벤치마크는 특히 인공지능 연구의 맥락에서 AI 시스템의 추론 능력을 평가하는 표준 테스트가 되었다. 이름은 데이터셋의 크기(문제 8,500개)와 초등학교 수준 수학에 초점을 둔 것에서 유래했다. 문제들은 우수한 중학생이 풀 수 있도록 작성되었지만, 모델이 순차적 계산을 수행하고 중간 상태를 유지해야 하는 경우가 많아 초기 신경망 구조에는 상당한 도전 과제가 된다.
데이터셋 설계 및 구성
GSM8K 데이터셋은 교과서나 표준화된 시험에서 볼 수 있는 실제 수학 문제 스타일을 모방한 문제를 작성한 주석가 팀에 의해 구성되었다. 문제는 분수, 백분율, 비율, 간단한 대수와 같은 주제를 다루지만, 공식적인 패턴을 피하도록 의도적으로 표현되어 모델이 패턴 매칭보다는 실제 추론에 참여하도록 장려한다. 데이터셋은 7,500개 문제의 훈련 세트와 평가에 사용되는 1,000개 문제의 테스트 세트로 나뉜다.
GSM8K의 각 문제에는 추론을 단계별로 분해하는 자연어 해법이 포함되어 있다. 이 해법은 최종 답변만이 아니라 중간 계산과 설명을 포함하며, 모델이 단계별 추론을 생성하도록 훈련하는 데 유용하다. 데이터셋에는 더 상세한 해법을 가진 별도의 1,000개 문제 세트도 포함되어 있으며, '사고 사슬' 버전으로 알려져 있으며, 이후 프롬프트 기법의 영향을 연구하는 데 사용되었다.
언어 모델 평가에서의 역할
GSM8K는 트랜스포머 기반 모델의 추론 능력을 측정하는 핵심 벤치마크로 빠르게 자리 잡았다. 초기 딥러닝 모델은 데이터셋에서 어려움을 겪어 정확도가 10% 미만인 경우가 많았으며, 다단계 산술을 안정적으로 수행하지 못했다. 모델이 최종 답변 전에 중간 추론 단계를 생성하도록 장려하는 사고 사슬 프롬프트의 도입으로 GPT-3와 같은 모델과 이후 버전이 훨씬 더 높은 점수를 달성하면서 상당한 개선이 이루어졌다.
이 벤치마크는 Anthropic, Google DeepMind 및 Meta를 포함한 여러 조직의 모델을 비교하는 데 사용되었다. 또한 연구자들이 산술 오류, 문제 문장의 잘못된 해석, 큰 숫자 처리 불가능과 같은 실패 모드를 분석하면서 머신러닝의 수학적 추론 한계를 연구하는 데도 사용된다.
AI 연구에 미친 영향
GSM8K는 LLM의 추론 능력을 개선하기 위한 기술 개발에 영향을 주었다. 더 많은 데이터로 훈련된 더 큰 모델이 벤치마크에서 뚜렷한 개선을 보여주면서 신경망 확장의 가치를 입증하는 데 중요한 역할을 했다. 이 데이터셋은 또한 해법의 정확성을 확인하는 별도 모델 훈련과 같은 생성형 AI 검증 방법과 올바른 추론 단계에 보상을 주는 강화 학습 접근법에 대한 연구를 촉진했다.
평가 도구로 사용되는 것 외에도 GSM8K는 훈련 자원으로도 사용되었다. 일부 연구자는 수학적 추론에 특화된 모델을 미세 조정하기 위해 훈련 세트를 사용했고, 다른 연구자는 추가 훈련을 위한 합성 데이터를 생성하는 데 사용했다. 자연어와 다단계 문제에 중점을 둔 데이터셋 설계는 MATH(더 고급 데이터셋) 및 SVAMP(수정된 문제가 있는 변형)와 같은 다른 벤치마크의 생성에도 영향을 주었다.
한계 및 비판
인기에도 불구하고 GSM8K에는 한계가 있다. 비평가들은 데이터셋이 상대적으로 작고 문제가 초등학교 수준으로 제한되어 수학적 추론의 전체 복잡성을 포착하지 못할 수 있다고 지적한다. 또한 모델은 실제 추론보다는 문제의 통계적 규칙성을 이용하여 높은 점수를 얻을 수 있으며, 이는 '지름길 학습'으로 알려진 현상이다. 벤치마크는 기하학이나 미적분과 같은 수학적 개념의 이해를 테스트하지 않는다.
또 다른 비판은 데이터셋의 문제가 영어로 되어 있고 서양 교육 맥락을 반영하여 다른 언어나 문화적 설정에 적용이 제한될 수 있다는 점이다. 연구자들은 GSM8K를 보완하기 위해 더 다양하고 도전적인 벤치마크를 요구했으며, 이로 인해 MATH 및 최근의 GSM8K-Sym과 같은 데이터셋이 개발되었고, 이는 견고성을 테스트하기 위해 기호적 변형을 도입한다.
현재 사용 및 향후 방향
2025년 현재 GSM8K는 머신러닝 커뮤니티에서 널리 사용되는 벤치마크로 남아 있으며, 새로운 LLM의 평가 제품군에 자주 포함된다. 연구 논문에서 자주 인용되고 기업이 모델 성능을 보고하는 데 사용된다. 그러나 모델이 개선됨에 따라 많은 모델이 테스트 세트에서 90% 이상의 정확도를 달성하여 벤치마크가 포화되고 있다는 주장이 제기되었다. 이로 인해 단계 수를 늘린 GSM8K-Hard와 같은 더 어려운 버전과 GSM8K가 더 넓은 벤치마크에 통합된 형태가 만들어졌다.
GSM8K의 미래는 차별화 도구라기보다는 기준선으로 사용되는 것일 가능성이 높으며, 연구자들은 다단계 추론 기술에 초점을 맞추고 있다. 그럼에도 불구하고 이 데이터셋은 AI의 다단계 추론 기술 개발을 촉진한 공헌으로 인해 분야에 중요한 기여를 했다.