GLUE (General Language Understanding Evaluation) es un conjunto de herramientas de evaluación introducido en 2018 por investigadores de la Universidad de Nueva York, la Universidad de Washington y DeepMind. Fue diseñado para evaluar y comparar modelos de aprendizaje automático en una diversidad de tareas de comprensión del lenguaje natural (NLU), con el objetivo de fomentar el desarrollo de modelos de propósito general que puedan manejar múltiples tareas sin ingeniería específica para cada tarea. El conjunto de herramientas rápidamente se convirtió en un punto de referencia estándar en el campo de la inteligencia artificial y el aprendizaje automático, particularmente para la investigación en aprendizaje profundo y redes neuronales.
El conjunto de herramientas consta de nueve tareas que cubren tres categorías principales: tareas de una sola oración, tareas de similitud y paráfrasis, y tareas de inferencia. Las tareas de una sola oración incluyen CoLA (Corpus of Linguistic Acceptability), que prueba la aceptabilidad gramatical, y SST-2 (Stanford Sentiment Treebank), que prueba el análisis de sentimientos. Las tareas de similitud y paráfrasis incluyen MRPC (Microsoft Research Paraphrase Corpus), QQP (Quora Question Pairs) y STS-B (Semantic Textual Similarity Benchmark). Las tareas de inferencia incluyen MNLI (Multi-Genre Natural Language Inference), QNLI (Question Natural Language Inference), RTE (Recognizing Textual Entailment) y WNLI (Winograd Natural Language Inference). Cada tarea tiene su propia métrica de evaluación, como precisión, puntuación F1 o correlación de Pearson, y la puntuación general de GLUE es el promedio de estas métricas en todas las tareas.
Historia y Motivación
GLUE fue introducido en un artículo de 2018 titulado "GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding" por Alex Wang, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy y Samuel R. Bowman. Los autores argumentaron que los conjuntos de herramientas existentes eran a menudo demasiado limitados y permitían que los modelos se sobreajustaran a conjuntos de datos específicos. GLUE tenía como objetivo proporcionar una evaluación más completa al incluir tareas que requieren diferentes tipos de conocimiento lingüístico, como sintaxis, semántica y sentido común. El conjunto de herramientas también incluía una tabla de clasificación pública, que permitía a los investigadores comparar sus modelos de manera transparente.
La introducción de GLUE coincidió con un período de rápido progreso en los modelos de lenguaje grandes. Poco después de su lanzamiento, los modelos basados en la arquitectura Transformer (architecture), como BERT (Bidirectional Encoder Representations from Transformers) de Google, comenzaron a dominar la tabla de clasificación. El éxito de BERT en GLUE ayudó a popularizar el paradigma de preentrenamiento y ajuste fino, donde un modelo se entrena primero en un gran corpus de texto y luego se adapta a tareas específicas. Este enfoque se volvió fundamental para los modelos posteriores desarrollados por organizaciones como OpenAI, Anthropic y Google DeepMind.
Tareas y Evaluación
Las nueve tareas en GLUE fueron seleccionadas para cubrir una variedad de dificultad y fenómenos lingüísticos. CoLA, por ejemplo, requiere que los modelos juzguen si una oración es gramaticalmente aceptable, lo que prueba el conocimiento sintáctico. SST-2 implica clasificación binaria de sentimientos a partir de reseñas de películas. MRPC y QQP son tareas de detección de paráfrasis, donde los modelos deben determinar si dos oraciones tienen el mismo significado. STS-B es una tarea de regresión que puntúa la similitud semántica en una escala de 0 a 5.
Para las tareas de inferencia, MNLI es la más grande, con más de 400,000 pares de oraciones en múltiples géneros, que requiere que los modelos clasifiquen implicación, contradicción o neutralidad. QNLI es una tarea de respuesta a preguntas reformulada como implicación, donde el modelo debe determinar si una oración contiene la respuesta a una pregunta. RTE es una tarea de implicación más pequeña derivada de noticias y Wikipedia. WNLI es una tarea de resolución de pronombres basada en el Winograd Schema Challenge, pero luego se descubrió que era defectuosa debido a un problema de fuga de datos, y muchos modelos lograron solo un rendimiento aleatorio en ella.
Las métricas de evaluación varían: CoLA usa la correlación de Matthews, SST-2 y QNLI usan precisión, MRPC y QQP usan puntuación F1, STS-B usa correlaciones de Pearson y Spearman, y MNLI, RTE y WNLI usan precisión. La puntuación final de GLUE es el promedio de estas métricas, con cada tarea ponderada por igual.
Impacto y Limitaciones
GLUE tuvo un impacto significativo en el campo al proporcionar un conjunto de herramientas común para comparar modelos. Ayudó a impulsar mejoras en la investigación de procesamiento del lenguaje natural, y su tabla de clasificación se convirtió en una arena competitiva tanto para laboratorios académicos como industriales. El conjunto de herramientas también facilitó el desarrollo de enfoques de aprendizaje multitarea y contribuyó al auge del aprendizaje por transferencia en PLN.
Sin embargo, GLUE también enfrentó críticas. Algunos investigadores señalaron que el conjunto de herramientas podía ser manipulado por modelos que memorizan patrones en los datos de entrenamiento en lugar de comprender verdaderamente el lenguaje. La tarea WNLI fue particularmente problemática, ya que luego se descubrió que el conjunto de prueba contenía ejemplos que no estaban correctamente alineados con los datos de entrenamiento, lo que hacía casi imposible que los modelos funcionaran bien. En respuesta, el equipo de GLUE lanzó una versión revisada llamada SuperGLUE en 2019, que incluía tareas más difíciles y abordaba algunos de estos problemas.
Legado y Sucesores
A pesar de sus limitaciones, GLUE sigue siendo un conjunto de herramientas ampliamente citado y a menudo se utiliza como línea base para evaluar nuevos modelos. Su sucesor, SuperGLUE, introdujo tareas que requieren razonamiento más complejo, como inferencia de múltiples oraciones y comprensión lectora. Ambos conjuntos de herramientas han sido influyentes en la configuración de la evaluación de sistemas de IA generativa, aunque han surgido conjuntos de herramientas más nuevos como MMLU y HELM para abordar capacidades más amplias.
El diseño de GLUE también inspiró conjuntos de herramientas similares en otros dominios, como XGLUE para comprensión multilingüe y CLUE para chino. El énfasis del conjunto de herramientas en la evaluación multitarea se ha convertido en una práctica estándar en el campo, y su modelo de tabla de clasificación pública ha sido adoptado por muchos esfuerzos posteriores.
Véase También
- aprendizaje automático
- aprendizaje profundo
- red neuronal
- modelo de lenguaje grande
- transformador
- OpenAI
- Google DeepMind
Referencias
- Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., & Bowman, S. R. (2018). GLUE: A Multi-Task Benchmark and Analysis Platform for Natural Language Understanding. arXiv preprint arXiv:1804.07461.
- Wang, A., Pruksachatkun, Y., Nangia, N., Singh, A., Michael, J., Hill, F., ... & Bowman, S. R. (2019). SuperGLUE: A Stickier Benchmark for General-Purpose Language Understanding Systems. arXiv preprint arXiv:1905.00537.