DROP (Discrete Reasoning Over Paragraphs) es un conjunto de datos de referencia para evaluar sistemas de comprensión lectora y de respuesta a preguntas. Fue introducido en 2019 por investigadores de la Universidad Carnegie Mellon y la Universidad de Washington. El conjunto de datos consta de más de 96,000 preguntas derivadas de artículos de Wikipedia, diseñadas para requerir operaciones de razonamiento discreto como suma, conteo, ordenamiento y comparación, en lugar de simplemente extraer un fragmento de texto. Esto distingue a DROP de conjuntos de datos de comprensión lectora anteriores como SQuAD, que principalmente probaban la capacidad de localizar respuestas directamente en el pasaje.
La creación de DROP fue motivada por la observación de que muchos modelos de respuesta a preguntas existentes sobresalían en la extracción de respuestas, pero tenían dificultades con preguntas que requerían combinar información de múltiples partes de un texto o realizar aritmética simple. El conjunto de datos fue diseñado para exponer estas limitaciones y empujar el campo hacia capacidades de razonamiento más robustas. Cada pregunta en DROP está emparejada con un párrafo de un artículo de Wikipedia, y la respuesta puede ser un fragmento, un número, una fecha o una lista de elementos. Las preguntas están elaboradas para requerir operaciones como suma, resta, conteo, ordenamiento y comparación, a menudo involucrando razonamiento temporal o numérico.
Estructura del Conjunto de Datos y Evaluación
El conjunto de datos DROP se divide en conjuntos de entrenamiento, desarrollo y prueba. El conjunto de entrenamiento contiene aproximadamente 77,000 preguntas, el conjunto de desarrollo alrededor de 9,500 y el conjunto de prueba alrededor de 9,500. Cada instancia incluye un pasaje, una pregunta y una o más respuestas de referencia. La evaluación se realiza utilizando coincidencia exacta (EM) y puntuación F1, que miden la superposición entre las respuestas predichas y las de referencia. Debido a que las respuestas pueden ser números o listas, el script de evaluación normaliza los formatos y maneja variaciones como comas y formatos de fecha.
Rendimiento Inicial y Desafíos
Cuando se lanzó DROP, los mejores modelos de la época lograron puntuaciones F1 de alrededor del 30-40%, muy por debajo del rendimiento humano, que se estimó en alrededor del 96% de F1. El conjunto de datos destacó brechas significativas en las capacidades de razonamiento de los modelos neuronales existentes, particularmente en el manejo de operaciones numéricas e inferencia de múltiples pasos. Los primeros intentos de resolver DROP a menudo involucraban sistemas híbridos que combinaban comprensión lectora neuronal con módulos de razonamiento simbólico, como calculadoras aritméticas o generadores de programas.
Progreso Posterior y Técnicas
Con el tiempo, las mejoras en la arquitectura de modelos y los métodos de entrenamiento llevaron a ganancias sustanciales en DROP. La introducción de modelos basados en Transformers, particularmente aquellos preentrenados en grandes corpus, ayudó a mejorar el rendimiento. Modelos como BERT y sus sucesores, cuando se ajustaron finamente en DROP, lograron puntuaciones más altas pero aún tenían dificultades con el razonamiento complejo. Más tarde, enfoques que incorporaron herramientas externas, como síntesis de programas o funciones de pérdida especializadas, permitieron a los modelos realizar operaciones aritméticas explícitas. Para 2021, algunos sistemas lograron puntuaciones F1 superiores al 85%, acercándose al rendimiento humano, en gran parte debido al uso de grandes modelos preentrenados y la integración de componentes de razonamiento simbólico.
Impacto en la Investigación de IA
El conjunto de datos DROP ha tenido un impacto duradero en el campo del procesamiento del lenguaje natural y la inteligencia artificial. Impulsó la investigación en sistemas híbridos neuro-simbólicos, que combinan redes neuronales con mecanismos de razonamiento explícitos. También influyó en el desarrollo de conjuntos de datos de referencia más desafiantes que prueban capacidades de razonamiento, como aquellos que requieren inferencia de múltiples saltos o resolución de problemas matemáticos. DROP sigue siendo una herramienta de evaluación estándar para la comprensión lectora y el razonamiento, y a menudo se incluye en el entrenamiento y la evaluación de los grandes modelos de lenguaje modernos.
Conjuntos de Datos Relacionados y Direcciones Futuras
DROP es parte de una familia más amplia de conjuntos de datos de razonamiento que incluyen tareas como transformación secuencia a secuencia, modelos basados en atención de múltiples cabezas y enfoques de aprendizaje curricular. Mientras que DROP se centra en el razonamiento discreto sobre texto, los conjuntos de datos más nuevos se han expandido para incluir razonamiento visual, sentido común y comprensión multimodal. A principios de la década de 2020, muchos grandes modelos de lenguaje de última generación se evalúan en DROP como parte de sus evaluaciones generales de razonamiento, y el conjunto de datos continúa siendo un punto de referencia para medir el progreso en la comprensión automática.