MMMU 2025.3 是 2025 年发布的大规模多学科多模态理解（MMMU）基准的第三次更新。它是一个标准化的评估套件，旨在评估多模态人工智能系统的能力，特别是带有视觉组件的大型语言模型，涵盖广泛的学术和专业学科。该基准建立在最初的 MMMU 框架之上，该框架用于衡量模型结合文本问题理解并推理视觉信息（如图表、示意图和图像）的能力。
此次更新是该基准定期修订系列的一部分，反映了多模态人工智能技术的快速演进。每次更新通常都会引入新的问题集，优化现有任务，并调整难度级别，以防止模型在性能指标上达到饱和。MMMU 2025.3 专门针对先前版本中发现的空白，包括更细致的视觉推理、跨学科问题以及需要多步推理的任务。
基准结构
MMMU 2025.3 包含数千道源自大学教科书和讲义材料的多项选择题。这些问题涵盖六个核心学科：艺术与设计、商业、科学、健康与医学、人文与社会科学，以及技术与工程。每个问题都包含一张图像、一个文本提示和四个答案选项，其中只有一个正确答案。该基准旨在不仅测试视觉感知，还测试领域特定知识和逻辑推理能力。
2025.3 版本引入了修订后的难度分布，其中需要高级推理而非简单模式识别的问题比例更高。它还包括一个新的问题子集，要求比较多张图像或解释高复杂度的数据可视化，例如多轴图表和科学示意图。
评估方法
模型根据回答全部问题的准确率进行评估，分数以百分比形式报告。该基准通常在零样本设置下进行，这意味着模型在特定问题集上不会收到任何先前的示例或微调。这种方法旨在衡量泛化知识和推理能力，而非记忆能力。
为确保公平性，该基准使用标准化的提示格式和图像分辨率。2025.3 更新还包含更严格的处理模糊问题的协议，由一组人类标注员审查边缘案例以确认答案的有效性。这减少了评估中的噪声，并提供了不同模型之间更可靠的比较。
性能趋势
自最初的 MMMU 发布以来，性能已大幅提升。2023 年的早期模型得分低于 40% 的准确率，而 2025 年初的领先系统接近 70%。MMMU 2025.3 预计将重置上限，来自主要实验室的初步结果显示，顶级模型（如来自 OpenAI、Anthropic 和 Google DeepMind 的模型）在新问题集上达到约 65-75% 的准确率。该更新旨在维持一个具有挑战性的基准，以区分具有表面视觉理解的模型和具有更深层推理能力的模型。
值得注意的是，2025.3 问题集暴露了模型在处理医学和工程等专业领域时的弱点，这些领域的准确率仍显著低于一般科学或人文学科。这促使了对领域特定训练和外部知识源整合的研究。
对人工智能发展的影响
MMMU 2025.3 是 Artificial intelligence 和 Machine learning 领域研究人员和开发者的关键参考点。它影响模型架构选择、训练数据整理和评估实践。许多组织使用 MMMU 分数作为产品就绪度的基准，特别是对于涉及文档分析、教育工具和视觉问答的应用。
该基准还为多模态推理的学术研究提供信息。使用 MMMU 2025.3 的研究强调了 Multi-Head Attention 机制和 Cross-Attention 层在处理复杂视觉-文本输入中的重要性。此外，该基准推动了对改进 Data Augmentation 技术和 Curriculum Learning 策略以增强模型鲁棒性的兴趣。
局限性与批评
尽管广泛使用，MMMU 2025.3 仍存在局限性。批评者指出，多项选择格式可能高估模型能力，因为模型可能在没有真正理解的情况下猜对。该基准还严重依赖英文内容，限制了其在非英语环境中的适用性。此外，问题集的静态特性意味着，如果训练数据无意中包含基准问题，模型可能会被过度拟合，尽管 2025.3 更新试图通过从近期出版物中获取新问题来缓解这一点。
另一个担忧是在完整基准上评估大型模型的计算成本，这对较小的研究团队来说可能难以承受。为解决此问题，维护者提供了一个随机子集用于快速测试，但这降低了统计可靠性。截至 2025 年底，关于创建动态版 MMMU 以即时生成问题的讨论正在进行中，但尚未发布此类版本。
未来方向
MMMU 系列预计将继续定期更新，MMMU 2025.4 已在开发中。未来的迭代可能会纳入视频输入、交互式任务和更开放的问题格式。该基准的演进反映了 Generative AI 的更广泛趋势，以及推动对人工智能系统进行更全面评估的努力。随着模型能力的增强，像 MMMU 这样的基准将需要适应，不仅要衡量准确性，还要衡量推理透明度、安全性和与人类价值观的一致性。