MMLU, abreviatura de Massive Multitask Language Understanding, es un punto de referencia introducido en 2020 por Dan Hendrycks y colaboradores para medir la amplitud de conocimiento y la capacidad de razonamiento de los modelos de lenguaje. Consta de aproximadamente 15,900 preguntas de opción múltiple que abarcan 57 materias, incluyendo matemáticas elementales, historia de Estados Unidos, informática, derecho y medicina profesional, extraídas en gran parte de exámenes y libros de texto reales, con una dificultad que va desde el nivel elemental hasta el profesional y experto.
Diseño y propósito
MMLU fue diseñado para evaluar el tipo de conocimiento general amplio que un modelo necesitaría adquirir principalmente mediante preentrenamiento en grandes corpus de texto, en lugar de un ajuste fino específico para tareas, sirviendo como un indicador de cuánto sabe un modelo en diversas disciplinas, más que de su desempeño en una única tarea estrecha. Su creador, Dan Hendrycks, se convirtió posteriormente en un destacado investigador de seguridad de la IA y fundó el Center for AI Safety, y la construcción de MMLU reflejó un esfuerzo temprano por llevar la evaluación de LLM más allá de puntos de referencia limitados, como la comprensión lectora o las preguntas de un solo dominio, hacia algo más cercano al conocimiento general.
Adopción
Tras su publicación, junto con la era de GPT-3 y los posteriores modelos de lenguaje grandes, MMLU se convirtió en uno de los puntos de referencia más citados en los informes técnicos y documentos de lanzamiento de modelos, siendo mencionado por prácticamente todos los laboratorios importantes, incluidos OpenAI, Anthropic, Google DeepMind y Meta AI, como una métrica principal de capacidades. Su ubicuidad lo convirtió en un punto de comparación común entre modelos entrenados por diferentes organizaciones con distintos métodos, ocupando un papel similar al que ImageNet había desempeñado en visión por computadora una década antes.
Saturación
Los primeros modelos obtenían puntuaciones solo ligeramente superiores al 25% esperado por azar en preguntas de cuatro opciones, pero el rendimiento mejoró rápidamente a medida que los modelos escalaban: superaron el 80% en pocos años, y para 2024 los principales modelos frontera superaron el 90%, acercándose a las estimaciones de lo que un panel de expertos humanos podría lograr. Esta saturación redujo la capacidad de MMLU para distinguir entre los mejores modelos y llevó a la creación de puntos de referencia sucesores más difíciles, incluido MMLU-Pro, que añadió preguntas más complejas y amplió las opciones de respuesta para reducir el impacto de la adivinación.
Críticas
MMLU ha recibido críticas por varios motivos: los investigadores identificaron una tasa no trivial de preguntas erróneas o ambiguas y de claves de respuesta incorrectas en el conjunto de datos original; debido a que se basa en materiales de examen disponibles públicamente, la contaminación de datos es una preocupación persistente, ya que es probable que algunas preguntas o variantes cercanas aparezcan en los datos web utilizados para preentrenar muchos modelos; y el formato de opción múltiple favorece el reconocimiento sobre la generación, lo que puede no reflejar cómo se utilizan realmente los modelos en tareas abiertas. Algunos de estos problemas se abordaron parcialmente en variantes posteriores, pero el diseño central de MMLU sigue siendo una instantánea de las prioridades de evaluación de la era de 2020.
Legado
A pesar de la saturación y las críticas, MMLU sigue siendo ampliamente citado como punto de referencia de referencia en las comparaciones de modelos y continúa apareciendo en los anuncios de lanzamiento, incluso después de haber dejado de diferenciar de manera significativa a los modelos de primer nivel, lo que ilustra un patrón más amplio en el que los puntos de referencia influyentes persisten como vocabulario común mucho después de que su poder discriminativo se haya desvanecido.