MMMU 2024.3 是 2024 年发布的第三个更新版本，属于大规模多学科多模态理解（MMMU）基准，该基准是一个广泛使用的评估套件，用于衡量人工智能系统在大学水平多模态理解任务上的能力。该基准旨在跨多个学科测试模型，包括艺术、商业、科学和人文学科，使用需要同时推理文本和图像的问题。包括 MMMU 2024.3 在内的每次更新都会引入新问题或修订问题，以跟上大型语言模型和多模态系统的快速发展，确保基准保持挑战性和相关性。
MMMU 基准最初是为了满足对多模态 AI 系统进行严格评估的需求而引入的，这些系统结合了神经网络架构来处理视觉和文本信息。2024.3 更新特别侧重于细化问题难度、减少数据泄漏，并添加测试生成式 AI和推理新兴能力的新示例。截至发布时，MMMU 2024.3 已成为研究人员和开发人员比较来自OpenAI、Anthropic和Google DeepMind等组织以及斯坦福 AI 实验室和伯克利 AI 研究等学术机构模型性能的标准参考。
基准结构
MMMU 2024.3 包含来自六个核心学科的多项选择题：艺术与设计、商业、人文学科、科学、健康与医学以及社会科学。每个问题包含一张图像（如图表、示意图或照片）和一个文本提示，要求模型整合视觉和文本信息，从四个选项中选择正确答案。问题设计为大学水平，通常需要多步推理和领域特定知识。该更新包含约 11,500 个跨所有学科的问题，分布与先前版本类似，但内容经过修订，以解决早期迭代中识别出的问题。
评估方法
模型在 MMMU 2024.3 上使用准确率作为主要指标进行评估，结果同时报告整体数据集和按学科划分的子集。该基准设计用于零样本设置，即模型在给定问题和图像时，无需对数据集进行额外训练或微调。这种方法确保性能反映模型固有的多模态理解和推理能力。在实践中，研究人员通常使用该基准来比较模型变体，例如具有不同Transformer架构或训练机制的模型，并跟踪随时间推移的进展。2024.3 更新还包括一个用于超参数调优的验证集和一个用于最终评估的测试集，其中测试集答案保持私有以防止过拟合。
2024.3 中的变更
2024.3 更新引入了几个关键变更。首先，它移除了已公开可用或被发现答案模糊的问题，并用新的、更严格的问题替换它们。其次，它新增了一类需要时间推理的问题，例如解释时间序列数据或理解事件序列。第三，它增加了涉及复杂图表（如科学图形和建筑平面图）的问题比例，以更好地测试空间理解能力。最后，该更新提高了答案解释的质量，这些解释为验证集提供，以帮助进行错误分析。这些变更是响应研究社区的反馈而做出的，并确保基准保持对最先进性能的可靠衡量。
影响与反响
MMMU 2024.3 已被 AI 研究社区广泛采用，作为多模态理解的标准基准。它已被用于众多研究论文和技术报告中，以评估 GPT-4V、Claude 3 和 Gemini 等模型，结果经常在媒体报道中被引用。该基准的难度和广度使其成为深度学习和机器学习进展的关键指标。然而，一些研究人员指出，该基准可能无法完全捕捉现实世界的多模态推理，因为它依赖于多项选择题和静态图像。尽管如此，MMMU 2024.3 仍然是可用最全面和最具挑战性的基准之一，其更新受到多模态 AI 系统研究人员和开发者的密切关注。
未来方向
随着 AI 模型的持续改进，MMMU 基准预计将进一步发展。未来更新可能纳入视频或交互元素，并可能扩展到更多学科或更细致的推理任务。该基准的维护者，隶属于多伦多大学和卡内基梅隆大学等机构，已表示致力于定期更新以跟上技术进步。2024.3 更新证明了这一持续努力，为 AI 社区提供了严格且最新的评估工具。