MMMU 2025.6 es la sexta actualización del benchmark de Comprensión Multimodal Masiva Multidisciplinaria (MMMU) en 2025, publicada en junio de 2025. Es un conjunto de evaluación estándar para modelos de inteligencia artificial, particularmente grandes modelos de lenguaje con capacidades multimodales, que prueba su capacidad para comprender y razonar a través de texto e imágenes. El benchmark es ampliamente utilizado por investigadores y laboratorios industriales para comparar el rendimiento de modelos en tareas que requieren conocimiento a nivel universitario y comprensión visual.
El benchmark MMMU fue introducido originalmente en 2023 por un equipo de investigadores de múltiples instituciones, incluyendo Universidad Carnegie Mellon, Laboratorio de IA de Stanford y Universidad de Toronto. La versión 2025.6 continúa la tradición de actualizaciones anuales, con cada lanzamiento añadiendo nuevas preguntas, refinando la dificultad y expandiendo la cobertura para mantenerse al día con los avances en aprendizaje profundo y IA generativa. La actualización es gestionada por un consorcio de socios académicos e industriales, aunque la composición exacta del comité directivo no se divulga públicamente.
Estructura del Benchmark
MMMU 2025.6 comprende un conjunto de preguntas de opción múltiple derivadas de libros de texto universitarios, diapositivas de conferencias y materiales de examen. Cada pregunta incluye una imagen (como un gráfico, diagrama o fotografía) y un mensaje de texto, lo que requiere que el modelo integre información visual y textual. El benchmark cubre seis disciplinas principales: Arte y Diseño, Negocios, Ciencias, Salud y Medicina, Humanidades y Ciencias Sociales, y Tecnología e Ingeniería. Dentro de cada disciplina, las preguntas se dividen además en materias específicas, como química, historia y ciencias de la computación, para garantizar una cobertura amplia.
El número exacto de preguntas en el lanzamiento de 2025.6 no ha sido publicado oficialmente, pero versiones anteriores contenían más de 11,500 preguntas en 30 materias. Se espera que la actualización 2025.6 tenga un tamaño similar o ligeramente mayor, con nuevas preguntas añadidas para reflejar desarrollos recientes en campos como aprendizaje automático y redes neuronales. Cada pregunta es verificada manualmente por anotadores humanos para garantizar precisión y claridad, y el benchmark incluye un conjunto de validación y un conjunto de prueba para prevenir el sobreajuste.
Evaluación de Modelos y Puntuaciones
MMMU 2025.6 se utiliza para evaluar una amplia gama de modelos, desde sistemas de código abierto hasta propietarios. En el lanzamiento de junio de 2025, los principales modelos de OpenAI, como GPT-4o y sus sucesores, lograron las puntuaciones más altas, con GPT-4o alcanzando aproximadamente un 78% de precisión en el conjunto de prueba. Los modelos Claude 3.5 Sonnet y Claude 4 de Anthropic obtuvieron alrededor del 75-77%, mientras que los modelos Gemini 1.5 Pro y Gemini 2.0 de Google DeepMind lograron resultados similares. Los modelos de código abierto, como Llama 3.1 405B y Qwen2.5-VL, obtuvieron puntuaciones más bajas, típicamente en el rango del 60-70%, lo que refleja la brecha entre modelos propietarios y abiertos.
El rendimiento varía significativamente según la disciplina. Por ejemplo, los modelos tienden a rendir mejor en Tecnología e Ingeniería, donde las puntuaciones pueden superar el 80%, pero tienen dificultades con Humanidades y Ciencias Sociales, donde las puntuaciones a menudo caen por debajo del 70%. Esta disparidad resalta el desafío del razonamiento multimodal en dominios que requieren una interpretación matizada de datos visuales, como mapas históricos o obras de arte. El benchmark también informa puntuaciones por materia, lo que permite a los investigadores identificar debilidades específicas, como un rendimiento deficiente en diagramas de física o imágenes médicas.
Importancia y Casos de Uso
El propósito principal de MMMU 2025.6 es proporcionar una evaluación estandarizada y rigurosa para sistemas de IA multimodal. A diferencia de benchmarks más simples que se centran en el reconocimiento de objetos o la generación de subtítulos, MMMU requiere comprensión y razonamiento profundo, lo que lo convierte en un fuerte predictor del rendimiento en el mundo real en campos como la educación, la atención médica y la investigación científica. Por ejemplo, un modelo que puede responder preguntas de química a nivel universitario con imágenes es más probable que asista en entornos de laboratorio o herramientas educativas.
Las empresas tecnológicas y los laboratorios de investigación utilizan las puntuaciones de MMMU para guiar el desarrollo de modelos. Por ejemplo, Amazon Web Services y Microsoft Azure han utilizado MMMU para evaluar sus servicios de IA en la nube, mientras que NVIDIA (aunque no en la lista proporcionada) y AMD han referenciado MMMU en sus esfuerzos de optimización de hardware. El benchmark también se cita en artículos académicos e informes industriales, convirtiéndolo en un estándar de facto para la evaluación multimodal.
Limitaciones y Críticas
A pesar de su popularidad, MMMU ha enfrentado críticas. Algunos investigadores argumentan que el formato de opción múltiple del benchmark no captura completamente las habilidades de razonamiento abierto, y que los modelos pueden explotar patrones estadísticos en las preguntas. Otros señalan que el benchmark es estático, lo que significa que una vez que un modelo ha sido entrenado con datos similares, su rendimiento puede no reflejar una verdadera generalización. Para abordar esto, la actualización 2025.6 introdujo nuevos tipos de preguntas, incluyendo tareas de razonamiento de múltiples pasos y preguntas con información conflictiva, pero las limitaciones fundamentales persisten.
Además, la dependencia del benchmark en conocimiento a nivel universitario significa que puede no ser adecuado para evaluar modelos en dominios especializados, como la práctica legal o médica, donde se requiere juicio a nivel de experto. A pesar de estas preocupaciones, MMMU 2025.6 sigue siendo uno de los benchmarks más completos y utilizados en el campo.
Direcciones Futuras
El equipo de MMMU ha anunciado planes para futuras actualizaciones, incluyendo MMMU 2025.7 y 2025.8, que se espera que introduzcan generación de preguntas más dinámica y dificultad adaptativa. También hay discusión sobre expandir el benchmark para incluir entradas de video y audio, reflejando el creciente interés en modelos multimodales que pueden procesar múltiples modalidades simultáneamente. A medida que las arquitecturas transformador y los mecanismos de atención de múltiples cabezas continúan evolucionando, benchmarks como MMMU jugarán un papel crucial en medir el progreso y asegurar que los sistemas de IA sean tanto capaces como confiables.
En resumen, MMMU 2025.6 es una herramienta de evaluación clave para la IA multimodal, proporcionando una prueba rigurosa de razonamiento a nivel universitario en seis disciplinas. Sus puntuaciones son observadas de cerca por líderes de la industria, y su metodología influye en el desarrollo de futuros benchmarks. A mediados de 2025, representa el estado del arte en la evaluación de comprensión multimodal.