MMMU 2025.1 é a primeira atualização do benchmark Massive Multi-discipline Multimodal Understanding em 2025. Ele estende a estrutura original do MMMU, que foi projetada para avaliar sistemas de inteligência artificial em tarefas que exigem tanto percepção visual quanto raciocínio específico de domínio. A atualização introduz novos formatos de perguntas, disciplinas adicionais e protocolos de pontuação revisados para refletir melhor as capacidades dos modelos de linguagem de grande escala modernos e dos modelos multimodais.
O benchmark continua sendo uma referência fundamental para pesquisadores e desenvolvedores que trabalham com sistemas de aprendizado profundo que combinam visão e linguagem. Ao fornecer um conjunto padronizado de desafios, o MMMU 2025.1 ajuda a comparar o desempenho de diferentes modelos, incluindo aqueles construídos sobre arquiteturas de transformadores e designs de redes neurais.
Estrutura do Benchmark
O MMMU 2025.1 mantém a estrutura central do benchmark original, que inclui perguntas de múltipla escolha extraídas de livros didáticos e notas de aula de nível universitário. A atualização adiciona uma nova categoria de perguntas que exigem raciocínio em múltiplas etapas entre imagens e texto, aumentando a dificuldade para modelos que dependem exclusivamente de técnicas de IA generativa. O benchmark cobre disciplinas como física, química, medicina e engenharia, com cada pergunta acompanhada de uma ou mais imagens essenciais para responder corretamente.
A versão 2025.1 também introduz um sistema de pontuação revisado que penaliza mais severamente respostas confiantes, mas incorretas, incentivando os modelos a calibrar sua incerteza. Essa mudança está alinhada com tendências recentes na avaliação de aprendizado de máquina, onde a calibração é considerada tão importante quanto a precisão bruta.
Protocolo de Avaliação
Os modelos são avaliados em uma base de zero-shot, o que significa que eles não são ajustados nos dados do MMMU antes do teste. Esse protocolo garante que o desempenho reflita as habilidades gerais de raciocínio do modelo, em vez de memorização. O benchmark inclui um conjunto de validação para desenvolvimento e um conjunto de teste para pontuação final, com resultados relatados como porcentagens de precisão.
Para a atualização 2025.1, o pipeline de avaliação foi automatizado para lidar com saídas maiores de modelos, incluindo as do GPT-4o da OpenAI e do Claude 3.5 Sonnet da Anthropic, que estavam entre os primeiros modelos testados. O protocolo também suporta modelos do Google DeepMind e de outros laboratórios líderes, garantindo ampla aplicabilidade.
Principais Mudanças em Relação às Versões Anteriores
Uma grande mudança no MMMU 2025.1 é a inclusão de perguntas que exigem raciocínio temporal, onde a ordem dos eventos em uma sequência de imagens é importante. Essa adição testa a capacidade de um modelo de entender cenas dinâmicas, uma habilidade crucial para aplicações como a direção autônoma da Waymo e o piloto automático da Tesla.
Outra mudança é a expansão dos tipos de entrada visual. Além de fotografias e diagramas estáticos, o benchmark agora inclui gráficos, tabelas e capturas de tela de interfaces de software. Essa variedade desafia os modelos a extrair informações de diversos formatos visuais, uma tarefa que continua difícil para muitos sistemas de aprendizado profundo.
A atualização também introduz um novo subconjunto de perguntas que exigem raciocínio entre modalidades, onde a resposta depende da combinação de informações tanto da imagem quanto do texto que a acompanha. Esse subconjunto é projetado para testar a integração da compreensão visual e linguística, um objetivo central dos mecanismos de atenção de múltiplas cabeças em transformadores modernos.
Tendências de Desempenho
Os primeiros resultados do MMMU 2025.1 mostram que os principais modelos alcançam taxas de precisão acima de 70%, mas ainda há uma lacuna significativa entre o desempenho humano, que é de cerca de 90%, e os melhores sistemas de IA. Modelos que usam prompting de cadeia de pensamento ou técnicas de raciocínio semelhantes tendem a ter melhor desempenho, sugerindo que etapas explícitas de raciocínio ajudam em tarefas multimodais complexas.
No entanto, o benchmark também revela fraquezas persistentes nos modelos atuais, particularmente em tarefas que exigem raciocínio espacial preciso ou compreensão de detalhes visuais sutis. Por exemplo, perguntas envolvendo imagens médicas ou diagramas de engenharia frequentemente confundem até os sistemas mais avançados, destacando a necessidade de mais pesquisa em visão computacional e aprendizado multimodal.
Implicações para o Desenvolvimento de IA
O lançamento do MMMU 2025.1 tem implicações para a comunidade de IA em geral. Ele fornece um campo de testes rigoroso para avaliar o progresso na compreensão multimodal, que é essencial para o desenvolvimento de sistemas de IA que possam operar em ambientes do mundo real. Empresas como Amazon Web Services e Google Cloud estão usando o benchmark para avaliar seus próprios modelos e orientar melhorias em seus serviços de IA.
Pesquisadores em instituições como o laboratório de IA de Stanford e o pesquisa de IA de Berkeley citaram o MMMU 2025.1 como um recurso valioso para estudar as limitações dos modelos atuais. O benchmark também serve como referência para novas técnicas em poda de modelos e aumento de dados, à medida que os desenvolvedores buscam melhorar a eficiência sem sacrificar a precisão.
No geral, o MMMU 2025.1 representa um passo à frente na avaliação de IA multimodal, impulsionando o campo em direção a sistemas mais robustos e capazes.