MMMU 2025.5 é a quinta atualização lançada em 2025 do benchmark Massive Multi-discipline Multimodal Understanding (MMMU), um conjunto de avaliação amplamente utilizado para sistemas de inteligência artificial. O benchmark avalia modelos de linguagem de grande porte e modelos relacionados quanto à sua capacidade de realizar raciocínio de nível universitário em disciplinas que exigem compreensão visual e textual. O MMMU 2025.5 dá continuidade à tradição do benchmark de atualizações periódicas, introduzindo um novo conjunto de perguntas e procedimentos de pontuação revisados para mitigar efeitos de saturação e diferenciar melhor os sistemas de última geração.
O benchmark MMMU original foi introduzido em 2023 por um consórcio de pesquisadores acadêmicos e industriais, incluindo equipes do Stanford AI Lab, da Carnegie Mellon University e da University of Toronto. Ele compreende perguntas extraídas de livros didáticos, slides de aulas e provas em 30 disciplinas, incluindo arte, engenharia e medicina. Cada pergunta integra uma imagem (como um diagrama, gráfico ou fotografia) com um prompt de múltipla escolha ou de resposta aberta, exigindo que os modelos realizem raciocínio baseado em atenção de múltiplas cabeças sobre ambas as modalidades. A dificuldade do benchmark reside na sua demanda por conhecimento específico de domínio e interpretação visual precisa, distinguindo-o de benchmarks mais simples de aprendizado de máquina.
O MMMU 2025.5 aborda especificamente o rápido progresso observado em 2025, onde versões anteriores de 2025 (MMMU 2025.1 a 2025.4) tornaram-se cada vez mais fáceis para os principais modelos. A atualização adiciona aproximadamente 1.200 novas perguntas, selecionadas por um painel de 50 anotadores especialistas de instituições como a University of Oxford e o MIT CSAIL. Essas perguntas enfatizam raciocínio de múltiplas etapas, cenários contrafactuais e diferenças visuais de granularidade fina, como distinguir estruturas anatômicas semelhantes ou interpretar diagramas de circuitos complexos. A atualização também introduz uma nova rubrica de pontuação que penaliza respostas erradas excessivamente confiantes, incentivando escalação de temperatura calibrada nas saídas dos modelos.
Design do Benchmark e Atualizações
O conjunto MMMU é estruturado em seis grandes disciplinas: Arte e Design, Negócios, Ciências, Saúde e Medicina, Humanidades e Ciências Sociais, e Tecnologia e Engenharia. Cada disciplina contém múltiplos assuntos, e as perguntas são etiquetadas com níveis de dificuldade (fácil, médio, difícil) com base no desempenho humano. O MMMU 2025.5 mantém essa estrutura, mas reequilibra a distribuição: aumenta a proporção de perguntas difíceis de 35% para 45%, refletindo a necessidade de desafiar modelos que dominaram itens mais fáceis. A atualização também introduz um novo subconjunto de "perturbação visual", onde as imagens são levemente rotacionadas, recortadas ou com cores alteradas, testando a robustez a variações de entrada.
Uma inovação chave no MMMU 2025.5 é a inclusão de perguntas de "colaboração adversarial", desenvolvidas com contribuições de pesquisadores do Google DeepMind e da OpenAI. Essas perguntas são projetadas para serem ambíguas ou exigirem conhecimento externo não presente na imagem, forçando os modelos a pedir esclarecimentos ou declarar incerteza. Isso está alinhado com tendências mais amplas na avaliação de IA generativa, onde benchmarks cada vez mais medem não apenas a precisão, mas também a transparência do raciocínio e os modos de falha.
Metodologia de Avaliação
Os modelos são avaliados em um cenário de zero-shot, o que significa que não recebem exemplos prévios de perguntas do MMMU. O benchmark usa um formato de prompt padronizado que inclui a imagem e uma instrução de texto, e os modelos devem gerar uma resposta que é analisada para a resposta final. Para perguntas de múltipla escolha, a saída do modelo é comparada com a opção correta; para perguntas abertas, uma combinação de correspondência exata e similaridade semântica (usando embeddings baseados em transformadores) é empregada. O MMMU 2025.5 também relata o desempenho separadamente para modelos que usam ferramentas externas, como APIs do Amazon Web Services ou do Google Cloud, embora tal uso seja desencorajado para manter a comparabilidade.
A pontuação no MMMU 2025.5 introduz uma métrica de "precisão ponderada por confiança". Para cada pergunta, o modelo deve gerar uma pontuação de confiança (0 a 1). A pontuação final é a média das respostas corretas ponderadas pela confiança, com uma penalidade para erros de alta confiança. Essa métrica visa capturar a calibração, uma propriedade crítica para a implantação no mundo real em domínios como robótica Intuitive Surgical ou direção autônoma da Waymo, onde erros excessivamente confiantes podem ser custosos.
Tendências de Desempenho
Até o lançamento do MMMU 2025.5, os principais modelos da Anthropic, da OpenAI e do Google DeepMind alcançam precisão na faixa de 78-82%, acima dos cerca de 70% no MMMU 2025.1. No entanto, a nova métrica ponderada por confiança reduz essas pontuações para 65-70%, destacando que muitos modelos permanecem mal calibrados. Modelos menores, como aqueles otimizados para dispositivos de borda pela Qualcomm ou pela Arm Holdings, tipicamente pontuam 20-30 pontos a menos, sublinhando a lacuna entre sistemas de fronteira e implantados.
O benchmark também revelou fraquezas persistentes em raciocínio espacial e terminologia específica de domínio. Por exemplo, os modelos frequentemente confundem orientações esquerda-direita em imagens médicas e identificam erroneamente estruturas químicas em perguntas de química orgânica. Essas descobertas motivaram pesquisas em técnicas de aprendizado curricular e aumento de dados que visam especificamente essas deficiências.
Impacto e Recepção
O MMMU 2025.5 foi adotado pelos principais laboratórios de IA como um ponto de verificação interno de avaliação. A OpenAI e a Anthropic citaram publicamente as pontuações do MMMU em notas de lançamento de modelos, e o Google DeepMind usa o benchmark para orientar o treinamento em arquiteturas rede residual e U-Net para tarefas de visão. As atualizações do benchmark também são usadas por pesquisadores acadêmicos para estudar a generalização de modelos de aprendizado profundo, com artigos do BAIR (Berkeley AI Research) e do Bhabha Atomic Research Centre analisando padrões de erro.
Críticos notaram que a dependência do MMMU em materiais educacionais em inglês e centrados no Ocidente pode introduzir viés cultural, uma preocupação ecoada por pesquisadores da Alibaba DAMO Academy e da NEC. Em resposta, a equipe do MMMU anunciou planos para uma expansão multilíngue no final de 2025, embora os detalhes permaneçam não confirmados. Apesar dessas limitações, o MMMU 2025.5 permanece uma referência padrão para raciocínio multimodal, complementando outros benchmarks como as avaliações de computador de xadrez para pensamento estratégico.
Direções Futuras
A equipe do MMMU, liderada por investigadores principais do Stanford AI Lab e da University of Toronto, delineou um roteiro para 2026. As atualizações planejadas incluem geração dinâmica de perguntas usando modelos de IA generativa, o que criaria perguntas únicas por execução de avaliação, e integração de tarefas baseadas em vídeo. A equipe também está explorando parcerias com Nokia Bell Labs e Xerox PARC para desenvolver benchmarks para sistemas multimodais em ambientes industriais, como controle de qualidade e sensoriamento remoto.
À medida que os sistemas de inteligência artificial se tornam mais capazes, benchmarks como o MMMU 2025.5 desempenham um papel crucial em garantir que o progresso seja mensurável e significativo. A ênfase da atualização em calibração e robustez reflete uma maturação do campo, movendo-se além da precisão bruta para avaliações mais nuançadas do comportamento do modelo. Para profissionais, o MMMU 2025.5 oferece um campo de testes rigoroso para comparar modelos e orientar prioridades de desenvolvimento.