MMMU 2025 é um benchmark projetado para avaliar as capacidades de sistemas de inteligência artificial multimodal, particularmente grandes modelos de linguagem com compreensão visual. Ele estende o benchmark original MMMU (Massive Multi-discipline Multimodal Understanding), que foi lançado no final de 2023 por um consórcio de pesquisadores de instituições incluindo a Universidade de Alberta e a Universidade Carleton. A edição de 2025 atualiza o benchmark para refletir o rápido progresso na pesquisa de IA generativa e grandes modelos de linguagem, introduzindo novas tarefas e perguntas mais desafiadoras que exigem raciocínio profundo em múltiplas disciplinas.
O benchmark avalia os modelos em sua capacidade de perceber e raciocinar sobre informações visuais - como imagens, diagramas e gráficos - combinadas com perguntas textuais. Ele cobre uma ampla gama de assuntos, incluindo humanidades, ciências sociais, áreas STEM e domínios profissionais como medicina e direito. O MMMU 2025 é projetado para ser um teste rigoroso de compreensão em nível universitário, exigindo que os modelos não apenas reconheçam elementos visuais, mas também apliquem conhecimento específico de domínio e raciocínio em múltiplas etapas. O benchmark se tornou um ponto de referência padrão para comparar o desempenho dos principais sistemas de IA de organizações como OpenAI, Anthropic e Google DeepMind.
Design de Tarefas e Avaliação
O MMMU 2025 consiste em perguntas de múltipla escolha, cada uma emparelhada com uma imagem ou conjunto de imagens. As perguntas são elaboradas para exigir uma síntese de pistas visuais e contexto textual, frequentemente demandando conhecimento que vai além do simples reconhecimento de padrões. Por exemplo, uma pergunta pode apresentar um diagrama de circuito e perguntar sobre o efeito de uma mudança de componente, ou mostrar uma pintura histórica e indagar sobre seu significado cultural. O benchmark inclui mais de 30.000 perguntas em 30 disciplinas, com foco em perguntas que são desafiadoras para os modelos atuais.
A avaliação é realizada usando a precisão como métrica principal, com os modelos sendo obrigados a produzir uma única resposta correta a partir de um conjunto de opções. O benchmark também rastreia o desempenho por disciplina e por tipo de pergunta, permitindo que os pesquisadores identifiquem pontos fortes e fracos específicos. Na edição de 2025, um novo subconjunto de perguntas foi adicionado, exigindo que os modelos raciocinem sobre múltiplas imagens simultaneamente, testando sua capacidade de comparar e contrastar informações visuais. Esse design empurra os modelos para além da simples legenda de imagens e para o domínio do raciocínio visual e da resolução de problemas.
Principais Descobertas e Desempenho dos Modelos
No início de 2025, os modelos com melhor desempenho no MMMU 2025 alcançam pontuações de precisão na faixa de meados dos 80%, uma melhoria significativa em relação ao MMMU original, onde os principais modelos pontuavam em torno de 50-60%. Esse progresso é atribuído a avanços em arquiteturas Transformer, conjuntos de dados de treinamento maiores e técnicas de treinamento aprimoradas, como RLHF e aprendizado curricular. Notavelmente, modelos da OpenAI e do Google DeepMind têm consistentemente liderado o ranking, com seus lançamentos mais recentes demonstrando desempenho quase humano em certas disciplinas como física e biologia.
No entanto, o benchmark revela lacunas persistentes. Os modelos ainda têm dificuldade com perguntas que exigem raciocínio abstrato, conhecimento de senso comum ou compreensão de relações espaciais complexas. O desempenho também varia significativamente entre disciplinas, com humanidades e ciências sociais frequentemente se mostrando mais difíceis do que áreas puramente STEM. Os criadores do benchmark enfatizam que o MMMU 2025 não é um problema resolvido, e ele continua a servir como um motivador para pesquisa em áreas como mecanismos de atenção multi-cabeça e atenção cruzada que podem integrar melhor informações visuais e textuais.
Comparação com Outros Benchmarks
O MMMU 2025 faz parte de um ecossistema mais amplo de benchmarks de avaliação de IA. Ele complementa outros testes bem conhecidos, como o benchmark de Resposta a Perguntas Visuais (VQA) e o conjunto de Avaliação Geral de Compreensão de Linguagem (GLUE). Ao contrário do VQA, que se concentra em perguntas simples sobre cenas do cotidiano, o MMMU 2025 tem como alvo conteúdo acadêmico de nível universitário, tornando-o mais alinhado com o objetivo de desenvolver IA que possa auxiliar na educação e no trabalho profissional. Em comparação com benchmarks somente de texto como o GLUE, o MMMU 2025 adiciona a dimensão crítica da compreensão visual, que é essencial para aplicações como direção autônoma, imagem médica e robótica.
O benchmark também difere de benchmarks multimodais mais novos, como o Massive Multitask Language Understanding (MMLU), na medida em que exige entrada visual para cada pergunta, enquanto o MMLU é somente texto. Isso torna o MMMU 2025 um teste mais direto da capacidade de um modelo de lidar com dados do mundo real, que são frequentemente multimodais. Pesquisadores frequentemente usam o MMMU 2025 em conjunto com outros benchmarks para obter uma visão abrangente das capacidades de um modelo, já que nenhum benchmark único pode capturar todos os aspectos da inteligência.
Impacto e Direções Futuras
A introdução do MMMU 2025 teve um impacto significativo no campo da inteligência artificial. Ele estimulou pesquisa em codificadores visuais mais robustos, melhor fusão de características visuais e textuais e métodos de treinamento mais eficientes. Empresas como AMD, Intel e TSMC também tomaram nota, pois as demandas computacionais do benchmark destacam a necessidade de hardware especializado, como aceleradores AWS Trainium e Groq, para executar esses modelos de forma eficiente.
Olhando para o futuro, os criadores do MMMU 2025 planejam lançar versões atualizadas com perguntas ainda mais desafiadoras, incluindo tarefas abertas que exigem que os modelos gerem explicações em vez de apenas selecionar respostas. Há também discussão sobre incorporar modalidades de vídeo e áudio, o que empurraria ainda mais os limites da compreensão multimodal. À medida que os modelos de IA continuam a melhorar, benchmarks como o MMMU 2025 desempenharão um papel crucial na medição do progresso e na identificação de áreas onde a inteligência de nível humano permanece fora de alcance.