GQA (Graph Question Answering) es un conjunto de datos de referencia para la respuesta a preguntas visuales (VQA) que enfatiza el razonamiento composicional. Fue introducido en 2019 por investigadores de la Universidad de Stanford y la Universidad de Toronto para abordar las limitaciones de los conjuntos de datos VQA anteriores, que a menudo contenían sesgos que permitían a los modelos responder correctamente sin comprender realmente la imagen. GQA proporciona una colección a gran escala de imágenes del mundo real emparejadas con preguntas que requieren inferencia lógica de múltiples pasos, razonamiento espacial y reconocimiento de atributos, lo que lo convierte en una prueba rigurosa para los sistemas de IA.
El conjunto de datos se basa en el conjunto de datos Visual Genome, aprovechando sus gráficos de escena detallados. Estos gráficos representan objetos, atributos y relaciones dentro de una imagen, lo que permite la generación automática de preguntas que son tanto diversas como semánticamente controladas. GQA incluye más de 22 millones de preguntas sobre más de 113,000 imágenes, con cada pregunta acompañada de un programa funcional que especifica los pasos de razonamiento necesarios para llegar a la respuesta. Este diseño permite una evaluación detallada de la capacidad de un modelo para realizar tipos específicos de razonamiento, como comparar atributos, contar objetos o comprender relaciones espaciales.
Estructura composicional
La innovación central de GQA radica en su generación de preguntas composicionales. En lugar de depender de anotadores humanos para escribir preguntas, el conjunto de datos utiliza un enfoque basado en gramática que combina elementos de gráficos de escena en consultas complejas. Por ejemplo, una pregunta como "¿Está el gato a la izquierda del perro que es marrón?" requiere que el modelo primero identifique al perro marrón y luego determine su relación espacial con el gato. Esta naturaleza composicional asegura que las preguntas no sean simples coincidencias de patrones, sino que requieran una comprensión genuina del contenido de la imagen.
Cada pregunta en GQA está asociada con un programa semántico, que es una secuencia de operaciones como "filtrar", "relacionar", "contar" o "comparar". Estos programas sirven como verdad fundamental para el proceso de razonamiento, permitiendo a los investigadores analizar dónde fallan los modelos. El conjunto de datos también incluye una división equilibrada que reduce los sesgos de respuesta, asegurando que cada tipo de respuesta aparezca con una frecuencia similar en todas las preguntas, lo que obliga a los modelos a depender de la evidencia visual en lugar de atajos estadísticos.
Evaluación y métricas
GQA se evalúa principalmente mediante precisión, pero su diseño permite métricas más granulares. Los investigadores pueden evaluar el rendimiento en tipos específicos de preguntas, como "verificar" (sí/no), "elegir" (opción múltiple), "consultar" (atributo o relación) y "lógico" (que involucra conjunciones, disyunciones o negaciones). Este desglose ayuda a identificar fortalezas y debilidades en el razonamiento del modelo. Por ejemplo, un modelo podría sobresalir en consultas de atributos simples pero tener dificultades con el razonamiento espacial de múltiples saltos.
El conjunto de datos también proporciona una métrica de "consistencia", que mide si un modelo da la misma respuesta a preguntas semánticamente equivalentes. Esto es importante porque un modelo que adivina correctamente en una formulación pero incorrectamente en otra puede no comprender verdaderamente el concepto subyacente. El diseño equilibrado de GQA y sus anotaciones de programas lo convierten en un estándar de referencia en la comunidad de Machine learning, a menudo utilizado junto con otros conjuntos de datos VQA como VQA v2 y CLEVR.
Impacto en la investigación de IA
GQA ha influido en el desarrollo de arquitecturas de Neural network para el razonamiento visual. Muchos modelos, incluidos aquellos basados en marcos de Transformer (architecture) y Large language model, han sido evaluados en GQA para probar su capacidad de integrar información visual y textual. El conjunto de datos ha destacado las limitaciones de los métodos puramente basados en atención, que pueden capturar correlaciones pero fallar en el razonamiento sistemático. Esto ha motivado la investigación en redes modulares, redes neuronales de gráficos y enfoques neuro-simbólicos que modelan explícitamente la estructura composicional de las preguntas.
En el contexto de Deep learning y Artificial intelligence, GQA sirve como un desafío de referencia que empuja los límites de la comprensión visual. Ha sido utilizado en numerosos artículos académicos y competiciones, contribuyendo a una mejor comprensión de cómo construir sistemas de IA que puedan razonar sobre el mundo visual. El conjunto de datos sigue siendo relevante a mediados de la década de 2020, con esfuerzos continuos para mejorar el rendimiento de los modelos y extender sus principios a dominios de video y 3D.
Limitaciones y críticas
A pesar de sus fortalezas, GQA tiene limitaciones. Las preguntas se generan a partir de gráficos de escena, que pueden no capturar la complejidad completa del lenguaje natural o la ambigüedad del mundo real. Algunos críticos argumentan que el conjunto de datos aún contiene sesgos, como una sobrerrepresentación de ciertas categorías de objetos o relaciones espaciales. Además, la dependencia de imágenes de Visual Genome, que están sesgadas hacia escenas cotidianas, puede no generalizarse a dominios especializados como la imagen médica o la conducción autónoma.
Otra preocupación es que los programas funcionales, aunque útiles para el análisis, no siempre están disponibles en el momento de la inferencia en aplicaciones del mundo real. Los modelos entrenados en GQA pueden sobreajustarse a las estructuras de preguntas específicas, limitando potencialmente su generalización a tareas VQA más abiertas. Los investigadores han propuesto extensiones y variaciones para abordar estos problemas, pero GQA sigue siendo un punto de referencia fundamental para el razonamiento composicional.
Direcciones futuras
Los principios detrás de GQA se están extendiendo de varias maneras. Los conjuntos de datos más nuevos incorporan tipos de preguntas más diversos, como razonamiento contrafactual o inferencia causal. También hay interés en aplicar la evaluación estilo GQA a modelos de Generative AI, que pueden producir respuestas de forma libre en lugar de seleccionar de un conjunto fijo. A medida que los sistemas de Large language model se integran más con la visión, puntos de referencia como GQA son cruciales para evaluar si estos modelos comprenden verdaderamente las escenas o simplemente imitan patrones de razonamiento. La evolución continua de los puntos de referencia VQA asegura que el legado de GQA continúe dando forma al campo de la comprensión visual.
Referencias
- Hudson, D. A., & Manning, C. D. (2019). GQA: A New Dataset for Real-World Visual Reasoning and Compositional Question Answering. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR).
- Johnson, J., et al. (2017). CLEVR: A Diagnostic Dataset for Compositional Language and Elementary Visual Reasoning. CVPR.