La respuesta a preguntas visuales (VQA, por sus siglas en inglés) es una tarea de inteligencia artificial que requiere que un sistema responda a preguntas en lenguaje natural sobre una imagen. Se sitúa en la intersección de la visión por computador y el procesamiento del lenguaje natural, exigiendo que el modelo no solo reconozca objetos, escenas y actividades en una imagen, sino que también comprenda la semántica de la pregunta y razone sobre el contenido visual para producir una respuesta correcta. La VQA se considera un punto de referencia para la comprensión y el razonamiento visual de nivel superior, yendo más allá de la clasificación de imágenes o el subtitulado simples.
La tarea implica típicamente una imagen de entrada y una pregunta en texto de formato libre, con la salida esperada siendo una respuesta concisa, a menudo una sola palabra o frase corta. Los sistemas de VQA deben manejar una amplia gama de tipos de preguntas, incluyendo aquellas sobre presencia de objetos, color, cantidad, relaciones espaciales e incluso razonamiento de sentido común que va más allá de lo directamente visible. El campo ganó un impulso significativo a mediados de la década de 2010 con el lanzamiento de conjuntos de datos a gran escala y la aplicación de técnicas de aprendizaje profundo, y desde entonces se ha convertido en una evaluación estándar para los modelos de IA multimodales.
Conjuntos de datos y puntos de referencia
El conjunto de datos VQA, lanzado por primera vez en 2015 por investigadores de Virginia Tech y Microsoft, se convirtió en el punto de referencia de facto para la tarea. El conjunto de datos VQA original contenía más de 200,000 imágenes del conjunto de datos Microsoft COCO y más de 600,000 preguntas, con cada pregunta emparejada con múltiples respuestas de referencia recopiladas de anotadores humanos. El conjunto de datos fue diseñado para requerir una variedad de habilidades, incluyendo reconocimiento de objetos, conteo y razonamiento espacial. Versiones posteriores, como VQA 2.0, equilibraron la distribución de respuestas para reducir los sesgos lingüísticos, donde los modelos podían adivinar respuestas basándose solo en patrones de preguntas sin mirar la imagen. Otros puntos de referencia notables incluyen Visual Genome, que proporciona anotaciones densas de objetos, atributos y relaciones, y CLEVR, un conjunto de datos sintético diseñado para probar el razonamiento composicional generando imágenes de formas 3D simples y haciendo preguntas que requieren lógica de múltiples pasos.
Enfoques y arquitecturas
Los primeros sistemas de VQA usaban una combinación de redes neuronales convolucionales (CNN) para la extracción de características de imagen y redes neuronales recurrentes (RNN) o redes de memoria a largo plazo (LSTM) para la codificación de preguntas. Estas características se fusionaban, a menudo mediante multiplicación elemento a elemento o concatenación, y se pasaban a un clasificador para predecir la respuesta. Un gran avance llegó con la introducción de los mecanismos de atención, que permitieron al modelo enfocarse en regiones relevantes de la imagen basándose en la pregunta. La arquitectura Transformer, introducida en 2017, revolucionó aún más el campo al permitir el procesamiento unificado de tokens visuales y textuales. Los modelos modernos de VQA, como aquellos basados en preentrenamiento de visión-lenguaje, usan modelos transformer a gran escala preentrenados en pares de imagen-texto y luego ajustados en conjuntos de datos de VQA. Estos modelos, a menudo integrados con modelos de lenguaje grandes, pueden generar respuestas de formato libre y realizar razonamiento complejo, a veces incluso sin ajuste fino explícito en datos de VQA.
Desafíos y limitaciones
A pesar del progreso significativo, la VQA sigue siendo una tarea desafiante. Un problema importante es el sesgo lingüístico: los modelos pueden explotar regularidades estadísticas en los datos de entrenamiento para responder preguntas sin comprender realmente la imagen. Por ejemplo, un modelo podría responder "2" para preguntas que comienzan con "Cuántos" porque esa es la respuesta más común en el conjunto de datos. El conjunto de datos VQA 2.0 se creó para mitigar esto asegurando que cada pregunta tenga imágenes complementarias con diferentes respuestas. Otro desafío es la generalización composicional, donde los modelos luchan por responder preguntas que requieren combinaciones novedosas de conceptos conocidos. Además, los sistemas de VQA a menudo fallan en preguntas que requieren conocimiento externo o razonamiento de sentido común, como "¿Por qué está sonriendo la persona?" o "¿Qué sucederá después?". La robustez frente a ejemplos adversarios e imágenes fuera de distribución también es una preocupación, ya que los modelos pueden ser fácilmente engañados por ligeras perturbaciones.
Aplicaciones
La VQA tiene aplicaciones prácticas en varios dominios. En accesibilidad, puede asistir a personas con discapacidad visual respondiendo preguntas sobre su entorno, como leer letreros o identificar objetos. En la interacción humano-computador, la VQA permite interfaces más naturales donde los usuarios pueden hacer preguntas sobre imágenes en sistemas de chat o búsqueda. En salud, la VQA puede ayudar a los radiólogos respondiendo preguntas sobre imágenes médicas, aunque esto requiere entrenamiento especializado y validación cuidadosa. En comercio electrónico, la VQA puede impulsar la búsqueda visual y los sistemas de recomendación de productos. La tecnología también se usa en conducción autónoma, donde los sistemas deben comprender y razonar sobre escenas visuales para responder preguntas como "¿Está el semáforo en rojo?" o "¿Hay un peatón cruzando?".
Desarrollos recientes
El auge de los grandes modelos multimodales, como los desarrollados por OpenAI, Google DeepMind y otros laboratorios de investigación, ha avanzado significativamente las capacidades de VQA. Estos modelos, a menudo construidos sobre arquitecturas transformer y entrenados en conjuntos masivos de imágenes y texto, pueden responder preguntas con alta precisión e incluso proporcionar explicaciones. Por ejemplo, modelos como GPT-4V y Gemini han demostrado un rendimiento sólido en puntos de referencia estándar de VQA, a veces acercándose a la precisión a nivel humano en ciertas tareas. Sin embargo, estos modelos no están exentos de limitaciones y aún pueden exhibir sesgos o alucinaciones. El campo continúa evolucionando, con investigaciones centradas en mejorar las capacidades de razonamiento, reducir sesgos y hacer los modelos más interpretables y robustos. A partir de 2025, la VQA sigue siendo un área activa de investigación, con nuevos puntos de referencia y desafíos que se introducen para empujar los límites de la comprensión visual.