MMMU (Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark) es un punto de referencia para evaluar modelos de lenguaje multimodal de gran escala en tareas que requieren conocimiento de nivel universitario y razonamiento deliberado. Publicado en noviembre de 2023, fue creado por un equipo de 22 investigadores liderado por Xiang Yue en la Universidad Estatal de Ohio y Wenhu Chen en la Universidad de Waterloo. El punto de referencia se presentó como un artículo oral en CVPR 2024 y desde entonces se ha convertido en una evaluación estándar para los modelos multimodales de vanguardia.
El punto de referencia comprende 11.5 mil preguntas multimodales recopiladas manualmente de exámenes universitarios, cuestionarios y libros de texto. Estas preguntas abarcan seis disciplinas - Arte y Diseño, Negocios, Ciencia, Salud y Medicina, Humanidades y Ciencias Sociales, y Tecnología e Ingeniería - cubriendo 30 materias y 183 subcampos. Las preguntas incorporan tipos de imágenes altamente heterogéneos, incluyendo gráficos, diagramas, mapas, tablas, partituras musicales y estructuras químicas, diseñadas para poner a prueba la percepción, el conocimiento y el razonamiento a nivel experto más allá de la comprensión visual de sentido común.
Diseño y Propósito
MMMU fue diseñado para abordar una brecha en los puntos de referencia multimodales existentes, que a menudo se centraban en la respuesta a preguntas visuales básicas o el razonamiento de sentido común. Los creadores buscaron crear un punto de referencia que requiriera conocimiento profundo y específico del dominio y razonamiento de múltiples pasos, similar a lo que un estudiante universitario necesitaría para resolver problemas en su especialidad. Cada pregunta incluye una imagen (o múltiples imágenes) y un mensaje de texto, con respuestas de opción múltiple. Las imágenes no son meramente decorativas; son integrales para resolver el problema, requiriendo que el modelo extraiga e interprete la información visual con precisión.
La dificultad del punto de referencia se refleja en el rendimiento de los modelos en el momento de su publicación. Los modelos con mejor rendimiento lograron solo alrededor del 56% de precisión, muy por debajo del rango experto humano de 76-89%. Esta brecha destacó las limitaciones de los modelos multimodales contemporáneos en el manejo de tareas complejas e intensivas en conocimiento.
Disciplinas y Materias
Las seis disciplinas cubren un amplio espectro de campos académicos. Arte y Diseño incluye materias como pintura, escultura y diseño gráfico. Negocios cubre finanzas, marketing y gestión. Ciencia incluye física, química y biología. Salud y Medicina incluye anatomía, farmacología y razonamiento clínico. Humanidades y Ciencias Sociales incluye historia, filosofía y economía. Tecnología e Ingeniería incluye ciencias de la computación, ingeniería eléctrica e ingeniería mecánica. Cada materia se divide además en subcampos, asegurando una cobertura integral de los planes de estudio universitarios.
Las preguntas provienen de materiales educativos reales, como exámenes y libros de texto, lo que garantiza que reflejen el tipo de conocimiento y razonamiento esperado de los estudiantes universitarios. La inclusión de diversos tipos de imágenes, como partituras musicales y estructuras químicas, añade una capa adicional de complejidad, ya que los modelos deben ser competentes en interpretar formatos visuales especializados.
Evaluación e Impacto
Desde su publicación, MMMU se ha convertido en una evaluación estándar para los modelos multimodales de vanguardia. Las puntuaciones en MMMU se informan regularmente en los informes técnicos de sistemas como GPT-4o, Gemini y Qwen-VL. El punto de referencia se ha utilizado para rastrear el progreso en la comprensión multimodal, con modelos que mejoran gradualmente su precisión con el tiempo. Sin embargo, incluso los modelos más avanzados a partir de 2025 aún no alcanzan el rendimiento experto humano, lo que indica que quedan desafíos significativos para lograr un razonamiento multimodal a nivel experto.
El punto de referencia también ha influido en el desarrollo de otros conjuntos de evaluación, ya que los investigadores reconocen la necesidad de puntos de referencia más desafiantes e intensivos en conocimiento. El énfasis de MMMU en el conocimiento de nivel universitario y el razonamiento deliberado ha establecido un nuevo estándar para evaluar las capacidades de los modelos de lenguaje de gran escala en contextos multimodales.
Limitaciones y Críticas
A pesar de su adopción generalizada, MMMU ha enfrentado algunas críticas. Algunos investigadores argumentan que el formato de opción múltiple puede no capturar completamente la naturaleza abierta del razonamiento en el mundo real. Otros señalan que el enfoque del punto de referencia en el conocimiento de nivel universitario puede no ser representativo de todas las aplicaciones prácticas de los modelos multimodales. Además, el proceso de recopilación manual, aunque asegura calidad, limita el tamaño del conjunto de datos en comparación con los puntos de referencia generados automáticamente.
No obstante, MMMU sigue siendo una herramienta valiosa para evaluar los límites superiores de los modelos multimodales actuales. Su diseño ha inspirado más investigación en el desarrollo de puntos de referencia, impulsando el campo hacia métodos de evaluación más rigurosos y completos.