MMMU-Val은 MMMU 벤치마크의 검증 하위 집합으로, 대학 수준의 지식과 다중 모드 추론을 요구하는 작업에서 인공지능 시스템을 평가하도록 설계된 대규모 데이터셋이다. 이 벤치마크는 2023년 학계 및 산업계 연구자 컨소시엄에 의해 도입되었으며, 기존 평가 세트가 종종 좁은 작업에 초점을 맞추거나 엄격한 학문적 근거가 부족한 한계를 해결하기 위해 만들어졌다. MMMU-Val은 시각적 이해와 도메인별 전문 지식을 모두 요구하는 질문에서 모델, 특히 대규모 언어 모델과 다중 모드 시스템의 성능을 비교하기 위한 표준화된 도구 역할을 한다.
MMMU 벤치마크는 예술, 비즈니스, 과학, 인문학, 사회과학, 의학의 여섯 가지 핵심 학문 분야에 걸쳐 대학 교과서, 강의 노트, 시험 자료에서 추출한 11,000개 이상의 질문으로 구성된다. 각 질문에는 텍스트와 함께 이미지, 다이어그램, 차트 또는 기타 시각적 요소가 포함되어 모델이 여러 양식의 정보를 통합해야 한다. MMMU-Val은 특히 모델 개발 중 검증에 사용되는 이러한 질문의 하위 집합(일반적으로 약 900개)을 포함한다. 벤치마크에는 최종 평가를 위한 테스트 세트도 포함되지만, MMMU-Val은 관리 가능한 크기와 학문 분야의 균형 잡힌 범위 덕분에 하이퍼파라미터 튜닝, 조기 중단, 모델 선택에 자주 사용된다.
구조 및 구성
MMMU-Val은 회계, 화학, 컴퓨터 과학, 역사, 방사선학과 같은 30개의 개별 주제 영역으로 구성되며, 각 질문은 학문 분야와 난이도로 태그가 지정된다. 질문은 객관식으로, 각 질문당 네 가지 선택지가 있으며 인간과 기계 모두에게 도전적이도록 설계되었다. 시각적 구성 요소는 단순한 선 그림부터 복잡한 의료 스캔과 금융 차트까지 다양하여 모델이 텍스트 단서에만 의존할 수 없도록 한다. 검증 세트는 전체 벤치마크와 유사한 주제 및 질문 유형 분포를 유지하여 개발 중 신뢰할 수 있는 성능 추정을 가능하게 한다.
평가 방법론
모델은 MMMU-Val에서 객관식 질문에 대한 답변을 생성하고 이를 정답 레이블과 비교하여 평가된다. 정확도가 주요 지표로, 올바르게 답변된 질문의 백분율로 보고된다. 공정한 비교를 위해 표준화된 프롬프트와 디코딩 매개변수가 권장되지만, 벤치마크는 단일 프로토콜을 강제하지 않는다. 검증 세트는 테스트 세트에 과적합되지 않은 안정적인 기준점을 제공하므로 훈련 중 진행 상황을 추적하는 데 특히 유용하다. 연구자들은 종종 전체 정확도와 학문별 세부 분석을 모두 보고하여 모델의 강점과 약점을 식별한다.
AI 연구에서의 역할
MMMU-Val은 다중 모드 대규모 언어 모델 개발에서 일반적인 기준점이 되었다. OpenAI, Anthropic, Google DeepMind와 관련된 그룹을 포함한 많은 선도적인 AI 연구 그룹이 시스템을 벤치마킹하기 위해 MMMU-Val을 사용했다. 검증 세트는 시각적 추론 실패, 환각, 불충분한 도메인 지식과 같은 문제를 진단하는 데 도움이 된다. 또한 Curriculum Learning 및 Data Augmentation과 같은 기술의 훈련 목표로도 사용되며, 여기서 모델은 점진적으로 더 어려운 질문에 노출된다. 2024년 현재 최첨단 모델은 MMMU-Val에서 60% 이상의 정확도를 달성하며, 이는 40% 미만이었던 초기 기준선에 비해 상당한 개선이지만, 벤치마크는 여전히 도전적이며 인간 전문가는 일반적으로 80% 이상을 기록한다.
한계 및 고려 사항
MMMU-Val은 널리 사용되지만 한계가 있다. 객관식 형식은 무작위 추측을 통해 점수를 부풀릴 수 있으며, 고정된 질문 세트는 모델이 개선됨에 따라 포화 상태에 이를 수 있다. 또한 검증 세트는 정적이므로 신중하게 관리하지 않으면 반복 평가가 과적합으로 이어질 수 있다. 연구자들은 Generative AI 또는 Neural network 해석 가능성에 초점을 맞춘 벤치마크와 같은 다른 벤치마크와 함께 MMMU-Val을 사용하여 모델 능력의 전체적인 관점을 얻는 것이 권장된다. 벤치마크 제작자들은 이러한 문제 중 일부를 완화하기 위해 업데이트와 추가 분할을 출시했지만, MMMU-Val은 Artificial intelligence 분야의 다중 모드 평가에서 초석으로 남아 있다.
향후 방향
Deep learning 및 Transformer (architecture) 아키텍처의 지속적인 진화는 모델이 MMMU-Val에서 달성할 수 있는 경계를 계속 확장하고 있다. 향후 작업은 동적 질문 생성, 더 세분화된 지표, 실제 응용 프로그램과의 통합을 포함할 수 있다. 모델이 더 강력해짐에 따라 벤치마크는 더 많은 학문 분야나 더 복잡한 시각적 추론 작업을 포함하도록 확장될 수 있다. 현재로서는 MMMU-Val이 AI의 발전이 엄격하고 다학문적인 이해에 기반을 두도록 보장하는 중요한 도구 역할을 한다.