VQA v2 es un conjunto de datos a gran escala para la respuesta a preguntas visuales (VQA, por sus siglas en inglés), una tarea en la que un modelo debe responder a una pregunta en lenguaje natural sobre una imagen. Fue introducido en 2017 como sucesor del conjunto de datos VQA original, diseñado para mitigar el problema del sesgo lingüístico que afectaba a su predecesor. El conjunto de datos contiene más de 1,1 millones de preguntas sobre más de 200.000 imágenes, con cada pregunta emparejada con una imagen complementaria que tiene una respuesta diferente, lo que obliga a los modelos a basarse en la información visual en lugar de en los conocimientos previos lingüísticos.
La creación de VQA v2 fue motivada por la observación de que muchos modelos obtenían buenos resultados en VQA v1 explotando regularidades estadísticas en las preguntas, sin comprender realmente las imágenes. Por ejemplo, un modelo podría responder 'sí' a la mayoría de las preguntas '¿Hay un...?' independientemente del contenido de la imagen. Para abordar esto, el conjunto de datos VQA v2 se construyó recopilando pares de imagen-pregunta complementarios: para cada pregunta, se seleccionó una imagen adicional de modo que la respuesta a la misma pregunta difiera entre las dos imágenes. Este diseño equilibrado fomenta el desarrollo de modelos que integren tanto el razonamiento visual como el textual.
El conjunto de datos se utiliza ampliamente como punto de referencia en los campos del Machine learning y el Deep learning, particularmente para evaluar arquitecturas de Neural network y mecanismos de atención. Ha sido fundamental para avanzar en la investigación sobre el aprendizaje multimodal, donde los modelos deben alinear características visuales con representaciones lingüísticas. Muchos sistemas de última generación, incluidos aquellos basados en arquitecturas Transformer (architecture) y Large language models, han sido evaluados en VQA v2, reportando a menudo la precisión como métrica principal.
Estructura del Conjunto de Datos
VQA v2 comprende imágenes provenientes del conjunto de datos Microsoft COCO, que incluye escenas complejas con múltiples objetos e interacciones. Cada imagen está asociada con múltiples preguntas, y cada pregunta tiene 10 respuestas de referencia recopiladas de anotadores humanos. Las preguntas son de respuesta abierta, cubriendo categorías como presencia de objetos, color, conteo y relaciones espaciales. El conjunto de datos se divide en conjuntos de entrenamiento, validación y prueba, y el conjunto de prueba se subdivide en subconjuntos test-dev y test-standard para fines de evaluación.
La innovación clave de VQA v2 es su emparejamiento equilibrado: para cada pregunta, existe al menos otra imagen en el conjunto de datos donde la respuesta es diferente. Esto asegura que un modelo no pueda lograr una alta precisión simplemente memorizando patrones de pregunta-respuesta. El conjunto de datos incluye aproximadamente 1,1 millones de preguntas, con alrededor de 250.000 imágenes en el conjunto de entrenamiento, 25.000 en el de validación y 25.000 en el de prueba.
Métricas de Evaluación
La precisión es la métrica principal utilizada para VQA v2. Para cada pregunta, la respuesta predicha por un modelo se compara con las 10 respuestas proporcionadas por humanos. La precisión para una sola pregunta se calcula como el mínimo del número de respuestas humanas que coinciden con la predicción dividido por 3, con un límite máximo de 1. Este esquema de puntuación recompensa las respuestas que son acordadas por múltiples anotadores, alentando a los modelos a producir respuestas de sentido común.
Además de la precisión general, los resultados a menudo se reportan por tipo de pregunta, como 'sí/no', 'número' y 'otro' (respuesta abierta). Este desglose ayuda a identificar fortalezas y debilidades específicas de un modelo. Por ejemplo, un modelo podría sobresalir en preguntas de sí/no pero tener dificultades con el conteo o el razonamiento sobre relaciones espaciales.
Impacto en la Investigación
VQA v2 se ha convertido en un punto de referencia estándar en las comunidades de Computer vision y Natural language processing, aunque la lista de enlaces proporcionada no incluye esos slugs. Ha impulsado el desarrollo de numerosos modelos de Deep learning, incluidos aquellos que emplean mecanismos de atención, Residual Network (ResNet)s y capas de Multi-Head Attention. El conjunto de datos también se ha utilizado para estudiar técnicas de Data Augmentation y Loss Functions adaptadas para tareas multimodales.
El diseño equilibrado de VQA v2 ha influido en la creación de conjuntos de datos posteriores, como los conjuntos de datos Visual Genome y GQA, que también buscan reducir el sesgo. Los investigadores han utilizado VQA v2 para sondear las capacidades de los modelos en áreas como el razonamiento composicional y el anclaje visual, lo que ha llevado a conocimientos sobre las limitaciones de los sistemas actuales de Artificial intelligence.
Limitaciones y Críticas
A pesar de sus mejoras, VQA v2 aún presenta algunos sesgos. Por ejemplo, ciertas preguntas pueden tener una respuesta dominante en todo el conjunto de datos, y los modelos pueden aprovechar estos conocimientos previos. Además, el conjunto de datos se centra principalmente en imágenes estáticas de COCO, que pueden no capturar la diversidad de escenarios visuales del mundo real. Algunos críticos argumentan que la naturaleza de respuesta abierta de las preguntas conduce a ambigüedad, y la métrica de evaluación no tiene en cuenta respuestas semánticamente equivalentes (por ejemplo, 'coche' vs. 'automóvil').
Además, el conjunto de datos ha sido criticado por no requerir un razonamiento profundo; muchas preguntas pueden responderse reconociendo objetos o atributos sin una inferencia compleja. Esto ha llevado al desarrollo de puntos de referencia más desafiantes, como VQA-CP (VQA bajo Priors Cambiantes), que redivide los datos para exponer el sesgo lingüístico de manera más explícita.
Conclusión
VQA v2 sigue siendo un recurso fundamental en la investigación de IA multimodal. Su diseño equilibrado estableció un nuevo estándar para la construcción de conjuntos de datos, alentando el desarrollo de modelos que integren genuinamente información visual y textual. Aunque han surgido puntos de referencia más nuevos, VQA v2 continúa utilizándose para evaluar y comparar modelos, y su influencia es evidente en el diseño de conjuntos de datos y tareas posteriores.