MMMU 2025.6 é a sexta atualização do benchmark Massive Multi-discipline Multimodal Understanding (MMMU) em 2025, lançada em junho de 2025. É um conjunto de avaliação padrão para modelos de inteligência artificial, particularmente modelos de linguagem de grande porte com capacidades multimodais, testando sua capacidade de compreender e raciocinar sobre texto e imagens. O benchmark é amplamente utilizado por pesquisadores e laboratórios da indústria para comparar o desempenho de modelos em tarefas que exigem conhecimento de nível universitário e compreensão visual.
O benchmark MMMU foi originalmente introduzido em 2023 por uma equipe de pesquisadores de diversas instituições, incluindo Carnegie Mellon University, Stanford AI Lab e University of Toronto. A versão 2025.6 continua a tradição de atualizações anuais, com cada lançamento adicionando novas perguntas, refinando a dificuldade e expandindo a cobertura para acompanhar os avanços em aprendizado profundo e IA generativa. A atualização é gerenciada por um consórcio de parceiros acadêmicos e da indústria, embora a composição exata do comitê diretor não seja divulgada publicamente.
Estrutura do Benchmark
MMMU 2025.6 compreende um conjunto de perguntas de múltipla escolha derivadas de livros didáticos universitários, slides de aula e materiais de exame. Cada pergunta inclui uma imagem (como um gráfico, diagrama ou fotografia) e um prompt de texto, exigindo que o modelo integre informações visuais e textuais. O benchmark abrange seis disciplinas principais: Artes e Design, Negócios, Ciências, Saúde e Medicina, Humanidades e Ciências Sociais, e Tecnologia e Engenharia. Dentro de cada disciplina, as perguntas são divididas em matérias específicas, como química, história e ciência da computação, para garantir uma ampla cobertura.
O número exato de perguntas no lançamento 2025.6 não foi publicado oficialmente, mas as versões anteriores contavam com mais de 11.500 perguntas em 30 matérias. Espera-se que a atualização 2025.6 tenha um tamanho similar ou ligeiramente maior, com novas perguntas adicionadas para refletir os desenvolvimentos recentes em áreas como aprendizado de máquina e redes neurais. Cada pergunta é verificada manualmente por anotadores humanos para garantir precisão e clareza, e o benchmark inclui um conjunto de validação e um conjunto de teste para evitar sobreajuste.
Avaliação de Modelos e Pontuações
MMMU 2025.6 é usado para avaliar uma ampla gama de modelos, desde sistemas de código aberto até proprietários. No lançamento de junho de 2025, os principais modelos da OpenAI, como GPT-4o e seus sucessores, alcançaram as maiores pontuações, com o GPT-4o atingindo aproximadamente 78% de precisão no conjunto de teste. Os modelos Claude 3.5 Sonnet e Claude 4 da Anthropic pontuaram cerca de 75-77%, enquanto os modelos Gemini 1.5 Pro e Gemini 2.0 da Google DeepMind alcançaram resultados semelhantes. Modelos de código aberto, como Llama 3.1 405B e Qwen2.5-VL, pontuadores mais baixos, tipicamente na faixa de 60-70%, refletindo a lacuna entre modelos proprietários e de código aberto.
O desempenho varia significativamente por área. Por exemplo, os modelos tendem a obter melhores resultados em Tecnologia e Engenharia, onde as pontuações podem exceder 80%, mas enfrentam dificuldades em Humanidades e Ciências Sociais, onde as pontuações costumam ficar abaixo de 70%. Essa disparidade destaca o desafio do raciocínio multimodal em domínios que exigem interpretação nuance da dados visuais, como mapas históricos ou obras de arte. O benchmark também exporta relatórios de pontuação por matéria, permitindo que os pesquisadores identifiquem deslizamentos específicos, como mau desempenho em diagramas de física ou imagens médicas.
Significado e Casos de Uso
O objetivo principal do MMMU 2025.6 é fornecer uma avaliação padronizada e rigorosa para sistemas de IA multimodal. Diferente de benchmarks mais simples que focam em reconhecimento de objetos ou geração de legendas, o MMMU exige compreensão profunda e raciocínio, sendo um forte indicador do desempenho no mundo real em áreas como educação, saúde e pesquisa científica. Por exemplo, um modelo que pode fazer perguntas de química em nível universitário com imagens é mais provável de ajudar a fornecer ajuda em ambienteslaboratoriais ou em ferramentas educacionais.
Empresas de tecnologia e laboratórios de pesquisa usam as pontuações do MMMU para orientar o desenvolvimento de seus modelos. Por exemplo, Amazon Web Services e Microsoft Azure usaram o MMMU para avaliar seus serviços de IA em nuvem, enquanto NVIDIA (embora não em sido citada na lista fornecida) e AMD referenciaem o MMMU em seus esforços de austodação de hardware. O benchmark também é citado em artigos acadêmicos e relatórios da indústria, tornando-se um padrão de facto para avaliação multimodal.
Limitações e Críticas
Apesar de sua popularidade, o MMMU tem enfrentadocríticas. Alguns pesquisadores argumentam que o formato de múltipla escolha do benchmark não captura completamente o raciocínio de resposta aberta, e que os modelos podem aproveitar padrões estatísticos nas perguntas. Outros destacam que o benchmark é estático, o que significa que, quando um modelo já foi treinado em dados semelhantes, seu desempenho pode não refletir verdadeira generalização. Para mitigar isso, a atualização 2025.6 introduziu novos tipos de perguntas, incluindo tarefas de raciocínio passo a passo e perguntas com informações conflitantes, mas as limitações precisam permanecem.
Além disso, a dependência do benchmark de conhecimento nível universitário significa que pode não ser adequado para avaliar modelos em domínios especializados, como prática jurídica ou médica, onde é necessário julgamento de nível de juiz especificista. Apesar dessas preocupações, o MMMU 2025.6 continua sendo um dos benchmarks mais abrangentes e amplamente utilizados no campo.
Direções Futuras
A equipe do MMMU anunciou planos para as atualizações futuras, possivelmente MMMU 2025.7 e 2025.8, que devem introduzir geração de perguntas mais dinâmica e dificuldade adaptativa. Há também discussões para expandir o benchmark para incluir entradas de vídeo e áudio, refletindo que o interesse maior em modelos multimodais que podem processar vários modalidades e simultaneamente. À medida que as arquiteturas de transformador e mecanismos de atenção multi-cabe-ç continuam a evolução, benchmarks como o MMMU terão papel crucial na medição de progresso e para que os sistemas de IA sejam tanto capazes quanto confiáveis.
Em resumo, exciseum de que o MMMU 2025.6 é uma ferramenta de avaliaçãobasil para a IA multimodal, fornecendo um teste rigoroso de raciocínio no nível de educação superior em diretrizes áreas. Suas pontuações são observadas de perto pelos líderes da indústria, e sua metodologia influencia o desenvolvimento de benchmarks futuros. Como em meados de 2025, ele representa o estado da arte em avaliação do desempenho multimodal de compreensão.