MMMU(대학 수준 다중 모달 이해 및 추론 벤치마크)는 대학 수준의 과목 지식과 신중한 추론을 요구하는 과제에서 다중 모달 대형 언어 모델을 평가하기 위한 벤치마크이다. 2023년 11월에 공개되었으며, 오하이오 주립 대학의 샹 웨(Xiang Yue)와 워털루 대학의 원첸(Wenhu Chen)이 이끄는 22명의 연구자 팀이 제작했다. 이 벤치마크는 CVPR 2024에서 구두 발표 논문으로 채택되었으며, 이후 최첨단 다중 모달 모델의 표준 평가 지표로 자리 잡았다.
이 벤치마크는 대학 시험, 퀴즈, 교과서에서 수집한 11,500개의 다중 모달 질문으로 구성된다. 질문은 예술 및 디자인, 과학, 건강 및 의학, 인문학 및 사회 과학, 기술 및 공학 등 6개 분야에 걸쳐 있으며, 30개 과목과 183개 세부 주제를 다룬다. 질문에는 차트, 다이어그램, 지도, 표, 악보, 화학 구조 등 매우 다양한 유형의 이미지가 포함되어, 상식 수준을 넘어서는 전문적인 지각, 지식, 추론 능력을 평가하도록 설계되었다.
설계 및 목적
MMMU는 기존 다중 모달 벤치마크가 주로 기본적인 시각 질문 응답이나 상식 추론에 초점을 맞춘 한계를 보완하기 위해 설계되었다. 제작진은 전공 분야의 문제를 해결하는 대학생 수준의 깊은 전문 지식과 다단계 추론을 요구하는 벤치마크를 만드는 것을 목표로 했다. 각 질문에는 하나 이상의 이미지와 텍스트 프롬프트, 그리고 객관식 답변이 포함된다. 이미지는 단순한 장식이 아니라 문제 해결에 필수적인 요소로, 모델이 시각 정보를 정확하게 추출하고 해석해야 한다.
벤치마크의 난이도는 공개 당시 모델들의 성능에서 드러난다. 당시 최고 성능의 모델들조차 약 56%의 정확도에 그쳤으며, 이는 인간 전문가의 76-89% 범위에 크게 못 미치는 수준이었다. 이러한 성능 격차는 복잡하고 지식 집약적인 과제에서 당시 다중 모달 모델의 한계를 여실히 보여주었다.
분야 및 과목
6개 분야는 광범위한 학문 영역을 포괄한다. 예술 및 디자인 분야에는 회화, 조각, 그래픽 디자인 등이 포함되고, 과학 분야에는 물리학, 화학, 생물학 등이 포함된다. 건강 및 의학 분야는 해부학, 약리학, 임상 추론 등을 다루며, 인문학 및 사회 과학 분야는 역사, 경제학, 철학 등을 포함한다. 기술 및 공학 분야는 컴퓨터 과학, 전기 공학, 기계 공학 등을 아우른다. 각 과목은 다시 세부 주제로 나뉘어 대학 교과 과정을 폭넓게 반영한다.
질문은 실제 교육 자료에서 수집되었기 때문에 대학생들이 접하는 실제 문제의 유형과 난이도를 충실히 반영한다. 악보나 화학 구조식과 같은 전문적인 이미지 유형을 포함함으로써, 모델이 일상적인 시각 자료를 넘어 특수 분야의 시각 정보를 이해하고 해석하는 능력을 평가한다.
평가 및 영향
출시 이후 MMMU는 최첨단 다중 모달 모델의 표준 평가 지표로 자리 잡았다. GPT-4o, Gemini, Qwen-VL과 같은 시스템의 기술 보고서에서 MMMU 점수가 정기적으로 보고되며, 모델들의 성능은 시간이 지남에 따라 꾸준히 향상되고 있다. 그러나 2025년 기준으로도 가장 발전된 모델조차 인간 전문가의 성능에는 미치지 못하고 있어, 전문가 수준의 다중 모달 추론에는 여전히 해결해야 할 과제가 많음을 시사한다.
또한 MMMU는 다른 평가 도구의 개발에도 영향을 미쳤다. 연구자들은 더 도전적이고 지식 집약적인 벤치마크의 필요성을 인식하게 되었으며, MMMU는 대학 수준의 지식과 신중한 추론을 요구하는 다중 모달 모델 평가의 새로운 기준을 제시했다.
한계 및 비판
널리 사용됨에도 불구하고 MMMU에 대한 비판도 존재한다. 일부 연구자들은 객관식 형식이 실제 세계의 개방형 추론 과제를 완전히 포착하지 못한다고 지적한다. 또한 대학 수준의 지식에 초점을 맞춘 것이 다중 모달 모델의 모든 실제 응용 분야를 대표하지는 않는다는 의견도 있다. 수작업으로 수집된 데이터는 품질을 보장하지만, 자동으로 생성된 데이터셋에 비해 규모가 제한적이라는 한계도 있다.
그럼에도 불구하고 MMMU는 현재 다중 모달 모델의 상한선을 평가하는 데 유용한 도구로 남아 있으며, 더 엄격하고 포괄적인 평가 방법 개발을 위한 연구를 촉진하는 데 기여하고 있다.
같이 보기
- 인공지능
- 머신러닝
- 딥러닝
- 신경망
- 트랜스포머
- 생성형 AI