El Stanford Question Answering Dataset, comúnmente conocido como SQuAD, es un conjunto de datos de referencia para evaluar modelos de aprendizaje automático en comprensión lectora y respuesta a preguntas. Consiste en preguntas planteadas por trabajadores colaborativos sobre un conjunto de artículos de Wikipedia, donde la respuesta a cada pregunta es un segmento de texto (un intervalo) del artículo correspondiente. SQuAD se utiliza ampliamente en la investigación de procesamiento de lenguaje natural para medir qué tan bien los modelos pueden comprender un pasaje dado y localizar respuestas exactas, sirviendo como un hito clave en el desarrollo de sistemas modernos de respuesta a preguntas.
SQuAD fue introducido por investigadores de la Universidad de Stanford y se publicó por primera vez en 2016. La versión inicial, posteriormente denominada SQuAD1.1, contiene más de 100,000 pares de preguntas y respuestas derivados de 536 artículos de Wikipedia. Una versión posterior, SQuAD2.0, se lanzó en 2018 y añadió más de 50,000 preguntas sin respuesta diseñadas para probar la capacidad de un modelo de abstenerse de responder cuando el pasaje no contiene la información. La popularidad del conjunto de datos se debe a su formato limpio, la objetividad de las respuestas basadas en intervalos y su capacidad para proporcionar una métrica sencilla para comparar el rendimiento de los modelos.
Estructura y Creación del Conjunto de Datos
La construcción de SQuAD involucró a trabajadores colaborativos, reclutados a través de Amazon Mechanical Turk, a quienes se les pidió leer un artículo de Wikipedia y luego generar preguntas para las cuales la respuesta fuera un intervalo contiguo de texto. Los artículos se seleccionaron de una lista curada de entradas de alta calidad que cubrían una variedad de temas, incluyendo historia, ciencia y geografía. Cada pregunta se emparejó con un único intervalo de respuesta preciso, y se recopilaron respuestas adicionales para tener en cuenta formulaciones alternativas válidas. El conjunto de datos original SQuAD1.1 se dividió en un conjunto de entrenamiento de aproximadamente 87,000 preguntas y un conjunto de desarrollo de aproximadamente 10,000 preguntas, con un conjunto de prueba oculto utilizado para la evaluación oficial.
SQuAD2.0 introdujo un desafío significativo al combinar las preguntas originales con nuevas preguntas sin respuesta. Estos ejemplos adversariales fueron escritos por trabajadores colaborativos basándose en párrafos similares a los del conjunto de datos, pero que habían sido modificados para cambiar hechos específicos (por ejemplo, reemplazando una fecha o un nombre). El objetivo era exigir que los modelos no solo respondieran correctamente cuando existe un intervalo, sino también que rechazaran preguntas cuando no hay respuesta presente. Este desarrollo tuvo un gran impacto, ya que muchos sistemas anteriores no podían manejar el requisito de abstención, lo que provocó caídas sustanciales en el rendimiento en el nuevo punto de referencia.
Métricas de Evaluación
La métrica principal para SQuAD es la puntuación de Coincidencia Exacta (EM), que mide el porcentaje de predicciones que coinciden exactamente con una de las respuestas de referencia, después de la normalización (como eliminar puntuación y artículos). Una métrica secundaria, la puntuación F1, calcula la superposición entre los tokens predichos y los de referencia, proporcionando una medida más indulgente que reconoce coincidencias parciales. Estas métricas se calculan sobre el conjunto de desarrollo, y las tablas de clasificación oficiales se han utilizado históricamente para clasificar las propuestas. La tabla de clasificación estaba alojada en un sitio web dedicado gestionado por el grupo de NLP de Stanford, y sirvió como punto focal para la investigación competitiva hasta su última actualización.
Influencia en la Investigación de NLP
SQuAD desempeñó un papel fundamental en la evolución del procesamiento de lenguaje natural, coincidiendo con el auge del aprendizaje profundo y las arquitecturas basadas en transformadores. Los primeros sistemas destacados en 2016 dependían de redes neuronales recurrentes y mecanismos de atención, pero la introducción del modelo Transformer en 2017 y los posteriores modelos de lenguaje preentrenados cambiaron fundamentalmente el panorama. Notablemente, OpenAI y otros laboratorios lanzaron modelos como BERT (una variante de Google) que lograron un rendimiento sobrehumano en SQuAD1.1, y modelos posteriores mejoraron en SQuAD2.0. SQuAD se convirtió en un banco de pruebas estándar para nuevas arquitecturas, incluidos grandes modelos de lenguaje como GPT y Claude de Anthropic, que a menudo se evalúan contra el punto de referencia durante el desarrollo.
La influencia del conjunto de datos se extiende más allá de las tablas de clasificación. SQuAD impulsó la creación de conjuntos de datos y tareas derivadas, como la respuesta a preguntas extractiva en otros idiomas y la respuesta a preguntas multidocumento. También informó el diseño de puntos de referencia posteriores como Natural Questions y TriviaQA, que se centran en entornos de dominio abierto en lugar de extracción de un solo pasaje. Investigadores de MIT CSAIL, Berkeley AI Research y otras instituciones han utilizado SQuAD para estudiar la robustez de los modelos, la calibración y los límites del razonamiento extractivo.
Limitaciones y Críticas
A pesar de su éxito, SQuAD tiene limitaciones notables. El formato de respuesta está restringido a intervalos de texto contiguos, lo que excluye preguntas de sí/no, conteos o respuestas que requieren síntesis entre oraciones. Los pasajes derivados de Wikipedia son relativamente cortos y autónomos, por lo que el punto de referencia no prueba habilidades como el razonamiento de múltiples saltos o el manejo de texto del mundo real ruidoso. Las preguntas generadas por trabajadores colaborativos también tienden hacia la coincidencia léxica, lo que significa que los modelos pueden lograr puntuaciones altas aprendiendo a identificar intervalos similares a las palabras de la pregunta, en lugar de comprender verdaderamente el contenido. Estas críticas han llevado al desarrollo de puntos de referencia más desafiantes, pero SQuAD sigue siendo un punto de referencia fundamental para medir el progreso en la lectura automática y la respuesta a preguntas.
Legado y Uso Actual
SQuAD todavía se cita con frecuencia en artículos académicos y se utiliza como evaluación de referencia en el campo más amplio de la inteligencia artificial. Muchos marcos modernos de aprendizaje automático incluyen SQuAD como un conjunto de datos estándar en sus bibliotecas, y es un ejercicio común en cursos universitarios de procesamiento de lenguaje natural. Si bien los modelos más nuevos a menudo logran puntuaciones superiores al 90% de EM en SQuAD1.1, la importancia histórica del punto de referencia radica en su papel para demostrar el poder de los sistemas entrenados en tareas de lectura estructurada. A principios de la década de 2020, SQuAD sigue siendo un punto de referencia para comparar modelos de lenguaje de propósito general, aunque suites de evaluación como GLUE y SuperGLUE se han vuelto más dominantes.