MMLU-Pro é um conjunto de dados de referência (benchmark) para avaliar as capacidades de conhecimento e raciocínio de grandes modelos de linguagem. Ele estende o benchmark original Massive Multitask Language Understanding (MMLU), que foi introduzido em 2020 para medir o desempenho dos modelos em uma ampla gama de disciplinas, desde humanidades até áreas de STEM. O MMLU-Pro foi lançado em novembro de 2024 por uma equipe de pesquisadores da Universidade de Waterloo e da Universidade de Toronto, e rapidamente se tornou um ponto de referência padrão para comparar sistemas de IA de última geração.
A principal motivação por trás do MMLU-Pro foi abordar as limitações do MMLU original. À medida que os modelos melhoravam, suas pontuações no MMLU começaram a saturar, dificultando a diferenciação entre os sistemas de melhor desempenho. O MMLU-Pro introduz várias mudanças importantes: inclui mais opções de resposta por pergunta (dez em vez de quatro), filtra perguntas muito fáceis ou que podem ser respondidas por meio de correspondência de padrões simples e adiciona uma proporção maior de perguntas que exigem raciocínio de múltiplas etapas. O conjunto de dados contém mais de 12.000 perguntas em 14 domínios, incluindo física, direito, psicologia e ciência da computação, com foco em tarefas mais complexas e que exigem raciocínio.
Design e Construção
A construção do MMLU-Pro envolveu um pipeline de múltiplas etapas. Os pesquisadores começaram com as perguntas originais do MMLU e as complementaram com perguntas adicionais de outras fontes, como exames profissionais e livros didáticos acadêmicos. Em seguida, usaram uma combinação de filtragem automatizada e anotação humana para remover perguntas ambíguas ou triviais. Especificamente, usaram um grande modelo de linguagem para gerar perguntas candidatas e, depois, especialistas humanos as verificaram e refinaram. O conjunto de dados final foi curado para garantir que cada pergunta tenha uma resposta clara e inequívoca e que o nível de dificuldade seja significativamente maior do que o do MMLU original.
Uma característica notável do MMLU-Pro é o uso de dez opções de resposta por pergunta, o que reduz a chance de um modelo acertar por acaso (de 25% no formato original de quatro opções para 10%). Essa escolha de design torna o benchmark mais discriminativo, ou seja, pequenas diferenças na capacidade do modelo têm maior probabilidade de se refletir em diferenças nas pontuações. O conjunto de dados também inclui um subconjunto "difícil", o MMLU-Pro/Reasoning, que se concentra exclusivamente em perguntas que exigem etapas explícitas de raciocínio, como problemas matemáticos em formato de texto e deduções lógicas.
Avaliação e Impacto
O MMLU-Pro foi amplamente adotado tanto por pesquisadores acadêmicos quanto por laboratórios da indústria. Os principais desenvolvedores de IA, incluindo OpenAI, Anthropic e Google DeepMind, relataram pontuações no MMLU-Pro para seus modelos principais. Por exemplo, o GPT-4o da OpenAI e o Claude 3.5 Sonnet da Anthropic foram ambos avaliados no MMLU-Pro, com pontuações tipicamente na faixa de 70-80%, em comparação com o desempenho de especialistas humanos, estimado em cerca de 80-90% nas mesmas perguntas. O benchmark também tem sido usado para acompanhar o progresso em sistemas de IA generativa e se tornou uma métrica comum em anúncios de lançamento de modelos e relatórios técnicos.
A introdução do MMLU-Pro influenciou o campo mais amplo da avaliação de inteligência artificial. Ele provocou discussões sobre a necessidade de benchmarks mais robustos que possam acompanhar as rápidas melhorias nas capacidades dos modelos. Ao contrário de benchmarks anteriores que se concentravam em memorização ou recordação simples, o MMLU-Pro enfatiza o raciocínio e a resolução de problemas, alinhando-se aos objetivos da pesquisa em aprendizado de máquina para construir modelos que possam generalizar além dos dados de treinamento. O benchmark também tem sido usado para estudar fenômenos como aprendizado por reforço a partir de feedback humano e seu efeito no desempenho de raciocínio.
Comparação com Outros Benchmarks
O MMLU-Pro é frequentemente comparado com outros conjuntos de avaliação, como o AI2 Reasoning Challenge (ARC), o HellaSwag e as tarefas do Big-Bench Hard (BBH). Enquanto o ARC e o HellaSwag se concentram em raciocínio de senso comum e previsão de texto, o MMLU-Pro cobre uma gama mais ampla de disciplinas acadêmicas, tornando-o mais abrangente para avaliar o conhecimento geral. O BBH, que é um subconjunto do conjunto BIG-bench, inclui 23 tarefas desafiadoras, mas o formato estruturado e de múltipla escolha do MMLU-Pro o torna mais fácil de administrar e pontuar de forma consistente. Na prática, as pontuações do MMLU-Pro se correlacionam fortemente com outros benchmarks focados em raciocínio, mas ele fornece uma visão mais granular dos pontos fortes e fracos de um modelo em diferentes domínios.
Uma limitação do MMLU-Pro é que ele é um benchmark estático, o que significa que, uma vez que os modelos são treinados em perguntas semelhantes, suas pontuações podem não refletir a verdadeira generalização. Para mitigar isso, os pesquisadores lançaram uma versão com perguntas retidas que não estão disponíveis publicamente, permitindo uma avaliação mais confiável em ambientes controlados. Além disso, o benchmark foi criticado por possível contaminação, onde os modelos podem ter visto as perguntas durante o pré-treinamento, embora os autores tenham tomado medidas para minimizar isso, obtendo perguntas de exames e livros didáticos menos comuns.
Direções Futuras
O sucesso do MMLU-Pro estimulou esforços para criar benchmarks ainda mais desafiadores. Os pesquisadores estão explorando maneiras de incorporar a geração dinâmica de perguntas, onde novas perguntas são criadas em tempo real, e de incluir elementos multimodais, como diagramas e gráficos, que são comuns na resolução de problemas do mundo real. Há também interesse em desenvolver benchmarks que meçam não apenas a correção, mas também a eficiência e a interpretabilidade do raciocínio do modelo. À medida que os modelos de aprendizado profundo continuam a evoluir, benchmarks como o MMLU-Pro provavelmente permanecerão ferramentas essenciais para medir o progresso e orientar a pesquisa futura em arquiteturas de redes neurais e métodos de treinamento.
Em resumo, o MMLU-Pro representa um passo significativo na avaliação de grandes modelos de linguagem, oferecendo uma medida mais rigorosa e matizada de suas capacidades. Sua ênfase em perguntas mais difíceis e raciocínio o tornou uma referência padrão no campo, e sua influência provavelmente persistirá à medida que os sistemas de IA se tornarem mais avançados.