Visual Question Answering (VQA) es un área de investigación en inteligencia artificial y aprendizaje automático que combina visión por computadora y procesamiento de lenguaje natural. La tarea consiste en proporcionar una imagen y una pregunta libre y abierta sobre esa imagen, y el sistema debe generar una respuesta correcta en lenguaje natural. VQA se considera un problema desafiante porque requiere no solo reconocimiento de objetos y comprensión de escenas, sino también razonamiento, conocimiento de sentido común y la capacidad de anclar el lenguaje en el contenido visual. Sirve como un punto de referencia central para evaluar las capacidades de los sistemas de IA multimodales, particularmente aquellos construidos sobre arquitecturas de aprendizaje profundo.
La tarea de VQA se formalizó con el lanzamiento del conjunto de datos VQA en 2015 por investigadores de virginia-tech, Microsoft (AI) y toronto. El conjunto de datos original, VQA v1, contenía más de 200,000 imágenes del conjunto de datos Microsoft COCO y escenas abstractas, emparejadas con más de 760,000 preguntas y 10 millones de respuestas. Cada imagen tenía tres preguntas, y cada pregunta tenía diez respuestas de referencia de anotadores humanos. El conjunto de datos fue diseñado para requerir una variedad de habilidades, desde conteo simple y reconocimiento de colores hasta razonamiento más complejo sobre relaciones espaciales y actividades. Un seguimiento, VQA v2, se lanzó en 2017 para abordar los sesgos lingüísticos equilibrando las respuestas para cada tipo de pregunta, asegurando que el modelo no pudiera depender solo de prioridades.
Arquitectura y Enfoques
Los primeros sistemas de VQA utilizaban una combinación de redes neuronales convolucionales (CNN) para la extracción de características de imágenes y redes neuronales recurrentes (RNN) o redes de memoria a largo plazo (LSTM) para la codificación de preguntas. Estas características se fusionaban, a menudo mediante multiplicación elemento a elemento o concatenación, y se pasaban a un clasificador para predecir una respuesta de un vocabulario fijo. Un modelo temprano notable fue el "baseline VQA" de los creadores del conjunto de datos, que usaba una representación de preguntas de bolsa de palabras y un codificador de imágenes VGGNet.
Con la llegada de la arquitectura transformador, los modelos de VQA se desplazaron hacia mecanismos basados en atención. El mecanismo de atención de múltiples cabezas permitió a los modelos enfocarse dinámicamente en regiones relevantes de la imagen según las palabras de la pregunta. El marco codificador-decodificador se volvió estándar, con la imagen y la pregunta codificadas conjuntamente y la respuesta generada de manera autorregresiva. Más recientemente, modelos preentrenados a gran escala, como aquellos basados en backbones de modelos de lenguaje grandes, han sido ajustados para VQA, aprovechando el preentrenamiento multimodal en pares de imagen-texto. Estos modelos a menudo usan capas de atención cruzada para alinear tokens visuales y textuales.
Conjuntos de Datos y Puntos de Referencia Clave
Más allá de los VQA v1 y v2 originales, varios otros conjuntos de datos han expandido el alcance de la tarea. El conjunto de datos Visual Genome, lanzado en 2016, proporcionó anotaciones densas de objetos, atributos y relaciones, permitiendo un respuesta a preguntas más composicional. El conjunto de datos GQA, introducido en 2019, se centró en preguntas de razonamiento y composicionales, con una división equilibrada para reducir sesgos. El conjunto de datos CLEVR, de 2017, usó formas 3D sintéticas para probar el razonamiento sistemático, requiriendo inferencia de múltiples pasos. Para aplicaciones del mundo real, el conjunto de datos VizWiz, de 2018, recopiló preguntas de usuarios ciegos, presentando un entorno más práctico pero ruidoso. El conjunto de datos OK-VQA, lanzado en 2019, enfatizó preguntas que requieren conocimiento externo más allá del contenido de la imagen.
Métricas de Evaluación
Los modelos de VQA se evalúan típicamente usando precisión, donde una respuesta predicha se considera correcta si coincide con al menos tres de las diez respuestas de referencia humanas. Esta métrica, conocida como precisión de VQA, está diseñada para manejar la subjetividad de las respuestas abiertas. Para variantes de opción múltiple, se usa precisión estándar. Los puntos de referencia más recientes también informan métricas de consistencia y anclaje, como si la atención del modelo se alinea con regiones relevantes de la imagen. El ranking de VQA v2 ha sido una referencia estándar, aunque muchos modelos modernos informan resultados en una variedad de conjuntos de datos para demostrar generalización.
Desafíos y Limitaciones
Un desafío principal en VQA es el sesgo lingüístico, donde los modelos explotan regularidades estadísticas en los datos de entrenamiento en lugar de comprender realmente la imagen. Por ejemplo, un modelo podría responder "2" para cualquier pregunta de conteo sin mirar los objetos. El conjunto de datos VQA v2 fue diseñado específicamente para mitigar esto asegurando que cada tipo de pregunta tenga un conjunto equilibrado de respuestas. Otro desafío es la generalización composicional, donde los modelos fallan en preguntas que combinan conceptos de maneras no vistas. El conocimiento externo también es difícil de integrar, ya que muchas preguntas requieren razonamiento de sentido común o información factual no presente en la imagen. Finalmente, la robustez a perturbaciones adversarias y cambios de distribución sigue siendo un problema abierto, ya que los modelos pueden ser fácilmente engañados por pequeños cambios en la imagen o la pregunta.
Aplicaciones y Direcciones Futuras
VQA tiene aplicaciones prácticas en tecnología de asistencia, como ayudar a usuarios con discapacidad visual a comprender su entorno, como se ve en el proyecto VizWiz. También se usa en interacción humano-robot, imágenes médicas (por ejemplo, respondiendo preguntas sobre radiografías) y recuperación de imágenes basada en contenido. Las direcciones futuras incluyen mejorar las capacidades de razonamiento a través de arquitecturas de redes neuronales que incorporen componentes simbólicos, integrar modelos de IA generativa para respuestas más detalladas y abiertas, y desarrollar mejores métricas de evaluación que capturen equivalencia semántica. A mediados de la década de 2020, los modelos de última generación a menudo aprovechan el preentrenamiento a gran escala en datos a escala web, pero aún luchan con el razonamiento espacial de grano fino y el reconocimiento de objetos raros.