ScienceQA는 인공지능 시스템이 과학 질문에 답변하는 능력을 평가하기 위해 설계된 대규모 벤치마크 데이터셋이다. 이 데이터셋은 2022년 캘리포니아 대학교 로스앤젤레스(UCLA)의 연구진과 다른 기관들이 도입했다. 데이터셋은 물리학, 화학, 생물학, 지구 과학 등의 과목을 아우르는 21,000개 이상의 객관식 질문으로 구성되며, 각 질문에는 이미지나 도표, 맥락 정보가 함께 제공된다. ScienceQA는 다중 모드 특성으로 유명하며, 모델이 텍스트와 시각적 이해를 통합하여 정답에 도달해야 한다.
이 벤치마크는 이전의 질문-답변 데이터셋이 주로 텍스트 전용 또는 이미지 전용 작업에 초점을 맞춘 한계를 해결하기 위해 만들어졌다. ScienceQA는 과학 질문이 종종 도표, 차트, 실험 설정을 해석하는 것을 요구하므로 더 현실적이고 도전적인 환경을 제공한다. 질문은 초등학교 및 중등학교 과학 교육과정에서 출처를 얻어, 다양한 AI 모델이 접근할 수 있으면서도 진정한 추론 능력을 요구한다. 각 질문에는 객관식 선택지, 정답, 인간이 읽을 수 있는 설명이 주석으로 달려 있어 모델 추론의 평가와 분석을 모두 가능하게 한다.
데이터셋 구조 및 주석
ScienceQA는 21,208개의 질문을 포함하며, 훈련, 검증, 테스트 세트로 나뉜다. 훈련 세트는 12,726개 질문, 검증 세트는 4,241개 질문, 테스트 세트는 4,241개 질문으로 구성된다. 각 질문은 과목, 주제, 학년 수준, 범주(예: "자연 과학" 또는 "사회 과학")와 연관된다. 주석에는 배경 정보를 제공하는 텍스트 맥락과 관련된 도표나 이미지도 포함된다. 정답은 인간 주석자가 작성한 간결한 설명과 함께 제공되며, 이는 모델이 생성한 설명의 품질을 평가하는 기준으로 사용된다.
데이터셋은 물리학(예: 힘, 에너지), 화학(예: 화학 반응, 물질의 상태), 생물학(예: 식물 및 동물 세포, 생태계), 지구 과학(예: 날씨, 지질 과정)을 포함한 다양한 과학 주제를 다룬다. 질문은 단순한 사실 회상뿐만 아니라 새로운 상황에 개념 적용, 그래프 데이터 해석, 시각적 표현에서 추론하기와 같은 추론 능력을 테스트하도록 설계되었다.
평가 및 기준 모델
ScienceQA는 다양한 머신러닝 모델을 사용한 일련의 기준 실험과 함께 도입되었다. 저자들은 전통적인 비전-언어 모델과 더 최근의 트랜스포머 기반 아키텍처를 포함한 여러 접근 방식을 평가했다. 주요 발견 중 하나는 많은 기존 모델이 ScienceQA에서 성능이 낮았으며, 테스트 세트에서 정확도가 종종 50% 미만으로 벤치마크의 어려움을 강조했다는 점이다. 당시 최고 성능의 기준 모델은 이미지 특징과 텍스트 임베딩을 결합한 다중 모드 트랜스포머를 사용하여 테스트 세트에서 약 89%의 정확도를 달성했지만, 이는 90% 이상으로 추정된 인간 성능보다 여전히 낮았다.
이 벤치마크는 이후 다중 모드 추론 및 질문 답변 연구의 표준 평가 도구가 되었다. OpenAI 및 Google DeepMind와 같은 조직이 개발한 대규모 언어 모델과 비전-언어 모델을 평가하는 데 사용되었다. 예를 들어, GPT-4와 Gemini 같은 모델이 ScienceQA에서 테스트되었으며, 일부는 90% 이상의 정확도를 달성하여 AI 추론의 상당한 진전을 보여주었다.
AI 연구에서의 역할
ScienceQA는 인공지능의 여러 영역에서 연구를 진전시키는 데 중요한 역할을 해왔다. 이는 모델이 답변을 제공하기 전에 중간 추론 단계를 생성하도록 장려하는 사고 사슬 프롬프팅의 효과를 연구하는 데 사용되었다. 연구에 따르면 이러한 프롬프팅 기법은 특히 대규모 언어 모델에서 ScienceQA 성능을 향상시킬 수 있다. 데이터셋은 또한 시각적 및 텍스트 정보의 통합을 조사하는 데 사용되어, 이미지와 언어 표현을 더 잘 정렬하는 새로운 아키텍처 개발로 이어졌다.
또한 ScienceQA는 AI의 설명 가능성 개념을 탐구하는 데 사용되었다. 각 질문에 인간이 작성한 설명이 포함되므로, 연구자들은 모델이 생성한 설명을 이러한 기준과 비교하여 모델이 답변을 얼마나 잘 정당화하는지 평가할 수 있다. 이는 교육 및 과학 연구 응용 프로그램에서 일관된 설명을 제공하는 능력이 중요하므로 신뢰할 수 있는 AI 시스템 구축에 영향을 미친다.
한계 및 향후 방향
강점에도 불구하고 ScienceQA에는 특정 한계가 있다. 질문은 학교 수준의 교육과정에 기반하므로 고급 과학 추론의 복잡성을 포착하지 못할 수 있다. 또한 객관식 형식은 모델이 깊은 이해 없이 정확히 추측할 수 있게 할 수 있지만, 설명이 이 문제를 완화하는 데 도움이 된다. 데이터셋은 또한 정적이므로 최근 과학적 발견이나 교육과정 변화를 반영하지 않는다.
향후 작업은 ScienceQA를 더 개방형 질문으로 확장하고, 더 높은 수준의 주제를 다루며, 대화형 시뮬레이션과 같은 동적 요소를 통합하는 것을 포함할 수 있다. 연구자들은 또한 모델이 시간이 지남에 따라 새로운 유형의 질문에 적응해야 하는 지속적 학습의 벤치마크로 ScienceQA를 사용하는 방법을 탐구하고 있다. AI 시스템이 계속 개선됨에 따라 ScienceQA와 같은 벤치마크는 진행 상황을 측정하고 추가 연구가 필요한 영역을 식별하는 데 필수적으로 남을 것이다.