MMMU 2025.1은 2025년 첫 번째 Massive Multi-discipline Multimodal Understanding 벤치마크 업데이트입니다. 이는 시각적 인식과 도메인 특화 추론을 모두 요구하는 작업에서 인공지능 시스템을 평가하도록 설계된 원래 MMMU 프레임워크를 확장합니다. 이 업데이트는 새로운 질문 형식, 추가 학문 분야, 그리고 수정된 채점 프로토콜을 도입하여 현대 대규모 언어 모델과 멀티모달 모델의 능력을 더 잘 반영합니다.
이 벤치마크는 시각과 언어를 결합하는 딥러닝 시스템을 연구하는 연구자와 개발자에게 여전히 핵심 참고 자료로 남아 있습니다. 표준화된 과제 세트를 제공함으로써 MMMU 2025.1은 트랜스포머 아키텍처와 신경망 설계를 기반으로 구축된 모델을 포함한 다양한 모델의 성능을 비교하는 데 도움을 줍니다.
벤치마크 구조
MMMU 2025.1은 대학 수준 교과서와 강의 노트에서 가져온 객관식 질문을 포함하는 원래 벤치마크의 핵심 구조를 유지합니다. 이 업데이트는 이미지와 텍스트에 걸친 다단계 추론을 요구하는 새로운 질문 범주를 추가하여 생성형 AI 기술에만 의존하는 모델의 난이도를 높입니다. 벤치마크는 물리학, 화학, 의학, 공학과 같은 학문 분야를 다루며, 각 질문에는 정확한 답변에 필수적인 하나 이상의 이미지가 함께 제공됩니다.
2025.1 버전은 또한 확신에 찬 오답에 더 큰 패널티를 부여하는 수정된 채점 시스템을 도입하여 모델이 불확실성을 보정하도록 장려합니다. 이 변경은 보정이 단순 정확도만큼 중요하게 여겨지는 최근 머신러닝 평가의 추세와 일치합니다.
평가 프로토콜
모델은 제로샷 기준으로 평가되며, 이는 테스트 전에 MMMU 데이터로 미세 조정되지 않음을 의미합니다. 이 프로토콜은 성능이 암기가 아닌 모델의 일반적인 추론 능력을 반영하도록 보장합니다. 벤치마크에는 개발용 검증 세트와 최종 채점용 테스트 세트가 포함되며, 결과는 정확도 백분율로 보고됩니다.
2025.1 업데이트의 경우 평가 파이프라인은 오픈AI의 GPT-4o와 앤트로픽의 Claude 3.5 Sonnet을 포함한 더 큰 모델 출력을 처리하도록 자동화되었으며, 이들은 처음으로 테스트된 모델 중 일부입니다. 이 프로토콜은 또한 구글 딥마인드 및 기타 주요 연구소의 모델을 지원하여 광범위한 적용 가능성을 보장합니다.
이전 버전과의 주요 변경 사항
MMMU 2025.1의 주요 변경 사항 중 하나는 이미지 시퀀스에서 이벤트 순서가 중요한 시간적 추론을 요구하는 질문의 포함입니다. 이 추가는 웨이모의 자율 주행 및 테슬라 오토파일럿과 같은 응용 분야에 중요한 동적 장면을 이해하는 모델의 능력을 테스트합니다.
또 다른 변경 사항은 시각적 입력 유형의 확장입니다. 정적 사진과 다이어그램 외에도 벤치마크는 이제 차트, 그래프, 소프트웨어 인터페이스의 스크린샷을 포함합니다. 이러한 다양성은 모델이 다양한 시각적 형식에서 정보를 추출하도록 도전하며, 이는 많은 딥러닝 시스템에게 여전히 어려운 작업입니다.
이 업데이트는 또한 답변이 이미지와 함께 제공되는 텍스트 모두의 정보를 결합하는 데 의존하는 교차 양식 추론을 요구하는 새로운 질문 하위 집합을 도입합니다. 이 하위 집합은 현대 트랜스포머의 멀티 헤드 어텐션 메커니즘의 핵심 목표인 시각적 및 언어적 이해의 통합을 테스트하도록 설계되었습니다.
성능 추세
MMMU 2025.1의 초기 결과는 선도적인 모델이 70% 이상의 정확도를 달성함을 보여주지만, 인간의 성능인 약 90%와 최고의 AI 시스템 사이에는 여전히 상당한 격차가 있습니다. 사고 사슬 프롬프팅이나 유사한 추론 기법을 사용하는 모델은 더 나은 성능을 보이는 경향이 있으며, 이는 명시적 추론 단계가 복잡한 멀티모달 작업에 도움이 된다는 것을 시사합니다.
그러나 벤치마크는 또한 정밀한 공간 추론이나 미묘한 시각적 세부 사항 이해가 필요한 작업에서 특히 현재 모델의 지속적인 약점을 드러냅니다. 예를 들어, 의료 영상이나 공학 다이어그램과 관련된 질문은 가장 고급 시스템조차 종종 어려움을 겪게 하며, 컴퓨터 비전 및 멀티모달 학습의 추가 연구 필요성을 강조합니다.
AI 개발에 대한 시사점
MMMU 2025.1의 출시는 더 넓은 AI 커뮤니티에 시사점을 제공합니다. 이는 실제 환경에서 작동할 수 있는 AI 시스템을 개발하는 데 필수적인 멀티모달 이해의 진전을 평가하기 위한 엄격한 테스트베드를 제공합니다. 아마존 웹 서비스와 구글 클라우드와 같은 기업은 자체 모델을 평가하고 AI 서비스 개선을 안내하기 위해 이 벤치마크를 사용하고 있습니다.
스탠포드 AI 연구소와 버클리 AI 연구와 같은 기관의 연구자들은 MMMU 2025.1을 현재 모델의 한계를 연구하기 위한 귀중한 자원으로 인용했습니다. 이 벤치마크는 또한 개발자가 정확도를 희생하지 않고 효율성을 개선하려고 함에 따라 모델 가지치기 및 데이터 증강의 새로운 기법을 위한 벤치마크 역할을 합니다.
전반적으로 MMMU 2025.1은 멀티모달 AI 평가의 한 단계 발전을 나타내며, 더 견고하고 유능한 시스템으로 분야를 추진합니다.