MMMU 2025.4是2025年发布的Massive Multi-discipline Multimodal Understanding（MMMU）基准的第四次更新。它是一个数据集，旨在评估人工智能系统，特别是具有视觉处理能力的大型语言模型，在需要多学科大学水平知识的任务上的表现。该基准由结合图像、图表和文本的问题组成，测试模型感知视觉信息、对其进行推理以及应用领域特定知识来正确回答的能力。
MMMU基准系列旨在满足对多模态AI系统进行严格评估的需求，超越简单的物体识别或图像描述。与早期专注于基础视觉问答的基准不同，MMMU的问题来源于大学教科书和考试材料，涵盖物理、化学、医学、艺术史和工程等学科。每个问题要求模型将视觉线索与文本上下文整合，通常涉及多步推理。2025.4更新延续了这一传统，添加了新问题并完善了评估方法，以跟上模型能力的快速发展。
基准结构与内容
MMMU 2025.4保持了其前身的核心结构，将问题组织为六个主要学科：艺术与设计、商业、科学、健康与医学、人文与社会科学，以及技术与工程。每个学科进一步细分为特定主题，如会计、生物学、法律或计算机科学。问题为多项选择，有四个或五个选项，旨在对即使是最先进的模型也具有挑战性。数据集包括用于开发的验证集和用于最终评估的测试集，答案不公开以防止数据污染。
MMMU 2025.4中的问题以其对复杂视觉输入的依赖而著称，包括图表、图形、医学图像、电路图和历史照片。例如，一个问题可能展示电路原理图并询问电流流动，或显示组织学切片并要求识别病理状况。这种设计迫使模型进行细粒度视觉分析，通常需要放大特定区域或解释细微的视觉差异。基准还包括视觉信息部分无关或误导性的问题，测试模型专注于相关细节的能力。
评估与评分
模型根据其回答多项选择题的准确性进行评估。主要指标是总体准确性，但也按学科和主题报告结果，以提供优势和劣势的细粒度视图。基准使用零样本评估协议，意味着模型在测试前不会在MMMU数据上进行微调。这旨在衡量模型的通用推理和知识检索能力，而不是其记忆基准特定模式的能力。
评分通过将模型的预测答案与真实答案进行比较来进行。对于生成自由文本的模型，解析步骤提取所选选项。官方排行榜跟踪来自各研究团体和公司的提交，包括OpenAI、Anthropic、Google DeepMind等。2025.4更新引入了更严格的评估框架，以减少潜在偏差，如模型倾向于偏好某些答案选项的位置偏差。这包括在问题之间随机化答案顺序，并使用更稳健的答案提取方法。
历史背景与演变
原始MMMU基准于2023年底由来自多所大学的研究团队引入，包括卡内基梅隆大学和斯坦福AI实验室。它迅速成为多模态模型评估的标准参考点，与其他基准如VQA和ScienceQA并列。该基准定期更新，以反映AI系统日益增长的复杂性。2025.4版本是2025年内一系列更新的一部分，继2025.1、2025.2和2025.3之后，每个版本都添加了新问题，并偶尔调整主题组合以覆盖新兴领域。
2025年更新中的一个重要变化是包含了更多需要时间或因果推理的问题，反映了AI研究向理解动态过程的转变。例如，一些问题询问生物过程中的事件顺序或机械故障的进展。这与深度学习模型中结合了改进推理能力的Transformer架构的发展相一致。更新还扩大了对非西方背景的覆盖，如涉及亚洲或非洲文物的艺术史问题，以减少评估中的文化偏差。
影响与反响
MMMU 2025.4已被AI研究社区广泛用于基准测试新模型。基准的结果经常在研究论文和技术报告中引用，影响对模型质量的看法。例如，在MMMU上表现良好的模型通常被认为具有强大的多模态推理能力，这对教育、医疗保健和自主系统等应用很有价值。该基准也被亚马逊网络服务和谷歌云等公司内部用于指导其AI服务的开发。
批评者指出，MMMU像所有基准一样有其局限性。一些人认为多项选择格式不能完全捕捉现实世界的推理，其中答案不是预先定义好的。其他人指出，基准对大学水平知识的依赖可能无法反映日常用户的需求。尽管存在这些担忧，MMMU 2025.4仍然是跟踪生成式AI和多模态理解进展的关键工具。其持续更新确保它随着模型的演变而保持相关性，提供了一个推动领域前进的动态目标。
未来方向
MMMU的创建者已表示计划进行进一步更新，可能包括更多开放式问题和交互式任务。还有讨论纳入视频输入，这将要求模型处理跨帧的时间信息。截至2026年初，尚未官方宣布下一版本，但季度更新的模式表明MMMU 2025.5或2026版本可能即将推出。该基准的演变反映了AI评估的更广泛轨迹，从简单的模式识别转向模拟人类专家表现的复杂多步推理。