MMMU-Pro是一个基准数据集，旨在评估多模态人工智能系统的能力，特别是处理视觉和文本信息的大型多模态模型。它是原始MMMU（大规模多学科多模态理解）基准的增强版和更具挑战性的后继者，针对多个学术和技术学科的专业级专业知识。该基准的结构旨在测试模型整合图像、图表、图示及相关文本并进行推理的能力，这需要深厚的领域知识，而不仅仅是模式识别。
原始MMMU基准于2023年底发布，包含来自六个学科（艺术、商业、科学、人文、社会科学和技术）的大学水平教科书和考试题目。MMMU-Pro于2024年推出，旨在解决原始基准的局限性，特别是某些模型通过利用统计规律或记忆答案来获得高分的问题。MMMU-Pro提高了问题难度，引入了更复杂的视觉元素，并实施了更严格的评估协议，包括选项集更大的多项选择题和更严谨的评分方法，从而减少了随机猜测的影响。
设计与构建
MMMU-Pro由来自多个机构的研究团队构建，包括学术实验室和行业研究小组的贡献。该数据集在原始MMMU的基础上增加了一层专业级审查。问题来源范围更广，包括高级教科书、专业认证考试和研究论文。每个问题都配有一张或一组图像，这些图像对解决问题至关重要，而文本则被设计为需要多步推理。
MMMU-Pro的一个关键设计选择是扩展答案选项。原始MMMU每题使用四个选项，而MMMU-Pro通常使用十个选项。这一变化显著降低了模型通过偶然猜对的概率，使该基准成为衡量真实理解的更可靠指标。此外，该基准还包含一个子集的问题，其中视觉信息故意具有误导性，或需要仔细检查才能提取相关细节，从而测试模型在干扰项中聚焦相关信息的能力。
评估协议
MMMU-Pro上的评估遵循严格协议，以确保公平性和可复现性。模型被提供问题文本和关联图像，并且必须输出十个答案选项之一。主要指标是准确率，但该基准也按学科和问题类型（例如，图表解读、图表阅读或视觉推理）报告性能。
为进一步减少猜测的影响，MMMU-Pro包含一个“无图像”条件。在此条件下，模型在相同问题上进行评估，但不提供伴随图像。这作为对照，用于衡量模型在多大程度上依赖视觉信息而非文本先验。在无图像条件下表现良好但在完整条件下表现不佳的模型可能过度拟合语言模式，而在两种条件下都表现良好的模型则展示了稳健的多模态整合能力。
领先模型的性能
截至2024年底，没有模型在MMMU-Pro上达到人类水平的表现。表现最佳的系统，包括来自主要AI公司的专有模型，如OpenAI、Google DeepMind和Anthropic，在完整基准上的准确率通常在50-60%范围内。这与这些相同模型在原始MMMU上达到的70-80%准确率相比有显著下降，凸显了难度的增加。
开源模型，例如由学术团体和小型公司开发的模型，通常得分较低，往往在30-45%范围内。专有模型和开源模型之间的差距在MMMU-Pro上比在更简单的基准上更为明显，这表明所需的专业级推理是许多神经网络架构当前的瓶颈。该基准已成为Artificial intelligence社区中跟踪多模态理解进展的标准参考点，研究人员经常在论文和技术报告中报告其结果。
影响与局限性
MMMU-Pro通过突出特定弱点影响了多模态模型的发展。例如，许多模型在需要空间推理或解读复杂科学图示（如Deep learning研究论文中的图示）的问题上存在困难。这推动了改进视觉编码器以及强调推理而非记忆的训练技术的研究。
然而，该基准并非没有局限性。批评者指出，虽然问题难度大，但仍然是多项选择形式，这可能允许模型使用排除策略。此外，数据集是静态的，这意味着一旦模型在其上（或类似数据上）训练，结果可能会变得虚高。MMMU-Pro的创建者已承认这一点，并定期发布包含新问题的更新版本。
另一个局限性是数据污染的潜在风险。由于该基准是公开可用的，大型模型的某些训练数据集可能包含MMMU-Pro问题，这会人为地提高分数。研究人员呼吁更透明地报告训练数据以缓解此问题。尽管存在这些担忧，MMMU-Pro仍然是评估生成式AI系统中专业级多模态理解的最严格的公开基准之一。
未来方向
MMMU-Pro的开发是AI评估向更具挑战性和生态有效性基准发展的更广泛趋势的一部分。未来的迭代可能包括开放式问题、交互式任务或超越多项选择格式的现实世界问题解决场景。该基准对专业专业知识的强调与AI在医学、法律和工程等领域的日益部署相一致，在这些领域，错误可能产生重大后果。
随着模型的不断改进，像MMMU-Pro这样的基准需要发展以保持相关性。研究社区还在探索互补的评估方法，如人工评估和对抗性测试，以提供模型能力的更完整图景。MMMU-Pro以其对深度和严谨性的关注，在这一持续努力中作为理解并推进多模态AI最先进水平的宝贵工具。