MMMU (Massive Multi-discipline Multimodal Understanding and Reasoning Benchmark) é um benchmark para avaliar modelos multimodais de linguagem de grande escala em tarefas que exigem conhecimento de nível universitário e raciocínio deliberado. Lançado em novembro de 2023, foi criado por uma equipe de 22 pesquisadores liderada por Xiang Yue na Universidade Estadual de Ohio e Wenhu Chen na Universidade de Waterloo. O benchmark foi apresentado como artigo oral na CVPR 2024 e, desde então, tornou-se uma avaliação padrão para modelos multimodais de ponta.
O benchmark compreende 11,5 mil questões multimodais coletadas manualmente de provas, questionários e livros didáticos universitários. Essas questões abrangem seis disciplinas - Arte e Design, Negócios, Ciências, Saúde e Medicina, Humanidades e Ciências Sociais, e Tecnologia e Engenharia - cobrindo 30 matérias e 183 subcampos. As questões incorporam tipos de imagem altamente heterogêneos, incluindo gráficos, diagramas, mapas, tabelas, partituras musicais e estruturas químicas, projetados para testar percepção, conhecimento e raciocínio de nível especialista, além da compreensão visual de senso comum.
Design e Propósito
O MMMU foi projetado para preencher uma lacuna nos benchmarks multimodais existentes, que frequentemente focavam em resposta a perguntas visuais básicas ou raciocínio de senso comum. Os criadores visavam desenvolver um benchmark que exigisse conhecimento profundo e específico de domínio e raciocínio em múltiplas etapas, semelhante ao que um estudante universitário precisaria para resolver problemas em sua área de formação. Cada questão inclui uma imagem (ou múltiplas imagens) e um prompt de texto, com respostas de múltipla escolha. As imagens não são meramente decorativas; elas são integrais para resolver o problema, exigindo que o modelo extraia e interprete informações visuais com precisão.
A dificuldade do benchmark reflete-se no desempenho dos modelos na época do lançamento. Os modelos com melhor desempenho alcançaram apenas cerca de 56% de precisão, bem abaixo da faixa de especialistas humanos de 76-89%. Essa lacuna destacou as limitações dos modelos multimodais contemporâneos em lidar com tarefas complexas e intensivas em conhecimento.
Disciplinas e Matérias
As seis disciplinas cobrem um amplo espectro de campos acadêmicos. Arte e Design inclui matérias como pintura, escultura e design gráfico. Negócios abrange finanças, marketing e gestão. Ciências inclui física, química e biologia. Saúde e Medicina inclui anatomia, farmacologia e raciocínio clínico. Humanidades e Ciências Sociais inclui história, filosofia e economia. Tecnologia e Engenharia inclui ciência da computação, engenharia elétrica e engenharia mecânica. Cada matéria é ainda dividida em subcampos, garantindo uma cobertura abrangente dos currículos universitários.
As questões são provenientes de materiais educacionais reais, como provas e livros didáticos, o que garante que reflitam o tipo de conhecimento e raciocínio esperado de estudantes universitários. A inclusão de diversos tipos de imagem, como partituras musicais e estruturas químicas, adiciona uma camada extra de complexidade, pois os modelos devem ser proficientes na interpretação de formatos visuais especializados.
Avaliação e Impacto
Desde seu lançamento, o MMMU tornou-se uma avaliação padrão para modelos multimodais de ponta. Pontuações no MMMU são rotineiramente reportadas nos relatórios técnicos de sistemas como GPT-4o, Gemini e Qwen-VL. O benchmark tem sido usado para acompanhar o progresso na compreensão multimodal, com modelos melhorando gradualmente sua precisão ao longo do tempo. No entanto, mesmo os modelos mais avançados em 2025 ainda ficam aquém do desempenho de especialistas humanos, indicando que desafios significativos permanecem para alcançar raciocínio multimodal de nível especialista.
O benchmark também influenciou o desenvolvimento de outros conjuntos de avaliação, à medida que pesquisadores reconhecem a necessidade de benchmarks mais desafiadores e intensivos em conhecimento. A ênfase do MMMU em conhecimento de nível universitário e raciocínio deliberado estabeleceu um novo padrão para avaliar as capacidades de modelos de linguagem de grande escala em contextos multimodais.
Limitações e Críticas
Apesar de sua adoção generalizada, o MMMU enfrentou algumas críticas. Alguns pesquisadores argumentam que o formato de múltipla escolha pode não capturar totalmente a natureza aberta do raciocínio no mundo real. Outros observam que o foco do benchmark em conhecimento de nível universitário pode não ser representativo de todas as aplicações práticas de modelos multimodais. Além disso, o processo de coleta manual, embora garanta qualidade, limita o tamanho do conjunto de dados em comparação com benchmarks gerados automaticamente.
No entanto, o MMMU permanece uma ferramenta valiosa para avaliar os limites superiores dos modelos multimodais atuais. Seu design inspirou pesquisas adicionais no desenvolvimento de benchmarks, impulsionando o campo em direção a métodos de avaliação mais rigorosos e abrangentes.