SuperGLUE es un conjunto de herramientas de evaluación (benchmark) para medir el rendimiento de modelos de comprensión del lenguaje natural (NLU). Publicado en 2019, fue diseñado para suceder al benchmark anterior GLUE (Evaluación General de Comprensión del Lenguaje), que se había saturado a medida que los modelos se acercaban o superaban el rendimiento humano en sus tareas. SuperGLUE presenta un conjunto más difícil de ocho tareas que requieren razonamiento, conocimiento del sentido común y comprensión de múltiples oraciones, con el objetivo de proporcionar una medida más robusta de las capacidades generales del lenguaje de un modelo.
El benchmark fue presentado en un artículo titulado "SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems", escrito por Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy y Samuel R. Bowman. El trabajo fue una colaboración entre la Universidad de Nueva York, DeepMind y la Universidad de Washington. El nombre es un juego de palabras con la marca de pegamento Super Glue, reflejando su propósito como un benchmark "más pegajoso" que es más difícil de resolver para los modelos.
Tareas y Evaluación
SuperGLUE consta de ocho tareas, cada una dirigida a un aspecto distinto de la comprensión del lenguaje:
- BoolQ (Preguntas Booleanas): Responder preguntas de sí/no dado un pasaje corto.
- CB (CommitmentBank): Determinar si una premisa implica, contradice o es neutral con respecto a una hipótesis.
- COPA (Elección de Alternativas Plausibles): Seleccionar la causa o efecto más plausible entre dos opciones dado una premisa.
- MultiRC (Comprensión de Lectura Multi-Oración): Responder múltiples preguntas sobre un pasaje, con cada pregunta teniendo múltiples respuestas posibles.
- ReCoRD (Comprensión de Lectura con Razonamiento de Sentido Común): Completar una entidad enmascarada en un artículo de noticias usando razonamiento de sentido común.
- RTE (Reconocimiento de Implicación Textual): Una tarea de implicación binaria que combina varios conjuntos de datos anteriores.
- WiC (Palabra en Contexto): Determinar si una palabra se usa con el mismo significado en dos oraciones diferentes.
- WSC (Desafío de Esquemas de Winograd): Resolver referencias de pronombres en oraciones diseñadas para ser ambiguas para modelos estadísticos simples.
Cada tarea tiene una métrica específica: precisión para BoolQ, CB, COPA, RTE y WSC; puntuación F1 para MultiRC y ReCoRD; y precisión para WiC. La puntuación general de SuperGLUE es el promedio de las puntuaciones de las tareas individuales, con cada tarea ponderada por igual.
Motivación y Diseño
El benchmark GLUE, publicado en 2018, se había convertido en un estándar para evaluar modelos de lenguaje de propósito general. Sin embargo, a principios de 2019, modelos como BERT y sus variantes estaban logrando puntuaciones cercanas o superiores a la línea base humana estimada en GLUE, lo que dificultaba diferenciar entre modelos. SuperGLUE fue creado para abordar esta saturación al incluir tareas que son más desafiantes y requieren un razonamiento más profundo, como el Desafío de Esquemas de Winograd y COPA, que involucran conocimiento de sentido común y razonamiento causal.
Las tareas fueron seleccionadas de conjuntos de datos existentes que se consideraban demasiado difíciles para los modelos contemporáneos en ese momento. Los autores también introdujeron un nuevo conjunto de datos, ReCoRD, que fue creado específicamente para el benchmark. El marco de evaluación incluye una tabla de clasificación pública, permitiendo a los investigadores comparar sus modelos contra un conjunto estándar de métricas y una línea base de rendimiento humano.
Impacto y Recepción
SuperGLUE rápidamente se convirtió en un benchmark ampliamente utilizado en la comunidad de procesamiento del lenguaje natural. Fue adoptado por importantes grupos de investigación y empresas, incluyendo OpenAI, Google DeepMind y Microsoft, como un banco de pruebas estándar para nuevas arquitecturas y métodos de entrenamiento. El benchmark jugó un papel significativo en el desarrollo de modelos basados en transformers, particularmente en la era de los modelos de lenguaje grandes.
En 2019, poco después de su publicación, modelos como BERT-large y XLNet lograron puntuaciones en los altos 70, mientras que la línea base humana se estimó en 89.8. Para 2021, modelos como T5 y DeBERTa superaron la línea base humana, con DeBERTa logrando una puntuación de 90.8 en enero de 2021. Este rápido progreso llevó a que el benchmark fuera considerado "resuelto" por muchos, impulsando la creación de benchmarks aún más difíciles como el sucesor de SuperGLUE, BIG-bench, y más tarde el benchmark HELM.
A pesar de su éxito, SuperGLUE también ha enfrentado críticas. Algunos investigadores argumentaron que las tareas, aunque desafiantes, aún no capturan completamente la complejidad de la comprensión del lenguaje en el mundo real, y que las altas puntuaciones en el benchmark no se traducen necesariamente en un rendimiento robusto en aplicaciones prácticas. Otros señalaron que el enfoque del benchmark en tareas solo en inglés limita su aplicabilidad a entornos multilingües.
Legado y Sucesores
El legado de SuperGLUE es doble. Primero, demostró el valor de crear benchmarks progresivamente más difíciles para impulsar la investigación en inteligencia artificial. Segundo, destacó el rápido ritmo de progreso en aprendizaje automático, ya que los modelos pasaron de un rendimiento inferior al humano a uno superior en solo dos años. Los principios de diseño del benchmark - usar tareas diversas, métricas claras y una tabla de clasificación pública - han sido adoptados por benchmarks posteriores como el sucesor de GLUE, el propio sucesor de SuperGLUE, y el ecosistema de evaluación más amplio.
El benchmark original GLUE fue retirado en 2021, y la tabla de clasificación de SuperGLUE fue congelada en 2022, a medida que los modelos continuaban mejorando. Sin embargo, las tareas y conjuntos de datos siguen en uso para investigación y desarrollo, y el benchmark todavía se referencia en artículos académicos e informes de la industria como un hito histórico en la evaluación de modelos de lenguaje.