MathQA는 2019년 아마존과 캘리포니아 대학교 산타바바라의 연구자들이 도입한 대규모 데이터셋이다. 이 데이터셋은 일반 수학, 물리학, 금융과 같은 주제를 다루는 37,000개의 영어 객관식 수학 문장제 문제를 포함한다. 각 문제는 올바른 답에 도달하는 데 필요한 일련의 연산을 지정하는 선형 프로그램으로 주석이 달려 있다. 이 데이터셋은 더 단순한 산술에 초점을 맞춘 MathQA의 전신과 같은 초기 데이터셋의 한계를 해결하고, 수학적 추론을 위한 인공지능 및 머신러닝 연구를 지원하기 위해 만들어졌다.
MathQA의 문제는 AQuA 데이터셋에서 파생되었지만, 더 상세하고 일관된 연산 프로그램으로 다시 주석이 달려 있다. 주석에는 텍스트 설명, 공식 선형 프로그램, 최종 답이 포함된다. 선형 프로그램은 덧셈, 뺄셈, 곱셈, 나눗셈, 비교와 같은 연산을 포함하는 도메인 특화 언어로 표현된다. 이러한 구조 덕분에 모델은 최종 답뿐만 아니라 중간 추론 단계도 학습할 수 있다.
데이터셋 구조
MathQA의 각 항목은 문제 설명, 객관식 선택지, 정답, 선형 프로그램으로 구성된다. 선형 프로그램은 각각 연산자와 그 인수를 포함하는 일련의 단계이다. 예를 들어, 단리 계산 문제는 원금에 이율을 곱한 다음 시간을 곱하는 단계를 가질 수 있다. 데이터셋은 훈련 세트(29,837문제), 검증 세트(4,469문제), 테스트 세트(2,985문제)로 분할된다. 문제는 "이자율" 또는 "물리학" 문제와 같은 33개의 서로 다른 유형으로 분류되며, 이는 다양한 추론 영역에서 모델 성능을 분석하는 데 도움이 된다.
선형 프로그램은 실행 가능하도록 설계되어, 프로그램 인터프리터가 주어진 숫자로부터 답을 계산할 수 있다. 이러한 속성은 모델 훈련 및 평가에서 프로그램 합성과 실행 기법의 사용을 가능하게 한다. 데이터셋에는 준지도 학습을 위한 50,000개의 레이블이 없는 문제도 포함되지만, 주요 벤치마크는 레이블이 있는 분할을 사용한다.
평가 및 벤치마크
MathQA는 AI 모델의 수학적 추론 능력을 평가하기 위한 벤치마크로 일반적으로 사용된다. 표준 평가 지표는 테스트 세트에서의 정확도이며, 모델은 올바른 답 선택지를 출력해야 한다. 시퀀스-투-시퀀스 모델과 메모리 증강 신경망을 사용한 초기 기준 모델은 약 30-40%의 정확도를 달성했다. Transformer (architecture) 아키텍처와 대규모 언어 모델에 기반한 최근 접근법은 성능을 크게 향상시켰다. 예를 들어, GPT-3와 같은 모델의 미세 조정 버전은 테스트 세트에서 80% 이상의 정확도에 도달했다.
이 데이터셋은 또한 모델이 해석 가능한 추론 단계를 생성하는 능력을 평가하는 데 사용된다. 선형 프로그램이 제공되므로 연구자들은 최종 답이 올바른지 여부뿐만 아니라 예측된 프로그램이 실제 정답과 일치하는지도 측정할 수 있다. 이는 프로그램 생성과 실행을 결합한 모델의 개발로 이어져 정확성과 해석 가능성을 모두 향상시켰다.
관련 데이터셋 및 작업
MathQA는 MAWPS, ASDiv, GSM8K를 포함한 수학 문장제 데이터셋의 더 넓은 계열의 일부이다. 이들과 비교하여 MathQA는 더 많은 수의 문제와 더 복잡한 추론 요구 사항을 제공하며, 많은 문제가 여러 단계와 더 넓은 범위의 수학적 연산을 포함한다. 이 데이터셋은 자연어 처리 및 딥러닝을 위한 모델을 훈련하고 평가하기 위해 다른 리소스와 함께 자주 사용된다.
수학 문장제 문제를 푸는 작업은 기계 이해와 추론의 도전적인 시험으로 간주된다. 이는 텍스트 설명을 이해하고, 관련 수량을 추출하며, 적절한 산술 또는 대수 연산을 적용해야 한다. MathQA의 명시적 연산 프로그램을 갖춘 주석 체계는 이 작업에 접근하는 구조화된 방법을 제공하며, 이후 데이터셋 설계에 영향을 미쳤다.
한계 및 논란
MathQA의 주목할 만한 한계 중 하나는 일부 주석 프로그램에 오류나 불일치가 포함되어 훈련 중 모델을 오도할 수 있다는 점이다. 연구자들은 잘못된 연산자 사용이나 누락된 단계와 같은 문제를 식별했다. 또한, 데이터셋의 객관식 형식은 모델이 진정한 추론을 수행하기보다 답 패턴을 활용할 수 있게 한다. 일부 연구는 모델이 선택지의 길이나 특정 숫자의 존재와 같은 표면적 단서를 사용하여 우연 이상의 정확도를 달성할 수 있음을 보여주었다.
또 다른 비판은 문제의 범위가 상대적으로 좁아 산술과 간단한 대수에 초점을 맞추며, 수학적 추론의 다양성을 완전히 포착하지 못할 수 있다는 점이다. 이러한 문제에도 불구하고 MathQA는 수학적 문제 해결 능력을 갖춘 AI 시스템을 평가하고 개발하기 위한 널리 사용되는 벤치마크로 남아 있다.
같이 보기
- 수학적 추론
- 질의 응답
- 자연어 이해
- 프로그램 합성
- 벤치마크 (컴퓨팅)
참고 문헌
- Amini, A., Gabriel, S., Lin, S., Koncel-Kedziorski, R., Choi, Y., & Hajishirzi, H. (2019). MathQA: Towards Interpretable Math Word Problem Solving with Operation-Based Formalisms. In Proceedings of NAACL-HLT.
- MathQA 데이터셋은 https://math-qa.github.io/에서 이용 가능하다 (2025년 접근).