KVQA (Knowledge-aware Visual Question Answering) es un subcampo de la inteligencia artificial y el aprendizaje automático que combina la visión por computadora, el procesamiento del lenguaje natural y la representación del conocimiento. A diferencia de la respuesta a preguntas visuales tradicional (VQA), que se basa únicamente en el contenido visual de una imagen, los sistemas KVQA también deben acceder y razonar sobre fuentes de conocimiento externas, como grafos de conocimiento, bases de datos enciclopédicas o hechos estructurados, para producir respuestas precisas. Esta tarea requiere que el modelo no solo reconozca objetos, escenas y relaciones en una imagen, sino que también recupere conocimiento mundial relevante y realice un razonamiento de múltiples pasos para responder preguntas que pueden hacer referencia a entidades, atributos o hechos que no son directamente visibles en la imagen.
El desarrollo de KVQA está estrechamente vinculado a los avances en el aprendizaje profundo y la aparición de modelos multimodales a gran escala. Los primeros conjuntos de datos de VQA, introducidos a mediados de la década de 2010, se centraban en preguntas que podían responderse solo con la imagen. Sin embargo, los investigadores pronto reconocieron que muchas preguntas naturales, como "¿Quién construyó este edificio?" o "¿Cuál es la población de esta ciudad?", requieren conocimiento externo. Esta comprensión llevó a la creación de puntos de referencia específicos de KVQA y a la integración de bases de conocimiento en arquitecturas neuronales, a menudo utilizando modelos basados en transformadores que pueden atender tanto a características visuales como a representaciones textuales del conocimiento.
Desarrollo Histórico
El concepto de KVQA surgió de la agenda de investigación más amplia de VQA, que ganó tracción después del lanzamiento del conjunto de datos VQA en 2015 por investigadores de Virginia Tech y Microsoft. La tarea inicial de VQA era puramente visual, pero trabajos posteriores, como el conjunto de datos FVQA (Fact-based Visual Question Answering) introducido en 2016, requerían explícitamente hechos externos. FVQA proporcionaba una base de conocimiento de tripletas (sujeto, relación, objeto) y desafiaba a los modelos a recuperar hechos relevantes para responder preguntas. A esto le siguieron otros conjuntos de datos como KVQA (el homónimo, introducido en 2018 por investigadores del Instituto Indio de Tecnología de Delhi y colaboradores), que se centraba en preguntas sobre personas y lugares famosos, requiriendo conocimiento de fuentes como Wikipedia y Freebase.
Estos primeros conjuntos de datos utilizaban bases de conocimiento estructuradas y a menudo se basaban en modelos de secuencia a secuencia o mecanismos de atención para combinar características de imagen con conocimiento recuperado. La introducción de la arquitectura transformador en 2017, particularmente el mecanismo de atención de múltiples cabezas, permitió una fusión más sofisticada de información visual y textual. A finales de la década de 2010, modelos como LXMERT y VisualBERT, que se preentrenaban en pares de imagen y texto, comenzaron a incorporar módulos de conocimiento, aunque todavía tenían dificultades con el conocimiento de dominio abierto que no estaba presente en los datos de entrenamiento.
Desafíos Principales
KVQA plantea varios desafíos únicos en comparación con el VQA estándar. Primero, el sistema debe determinar cuándo se necesita conocimiento externo; muchas preguntas pueden responderse solo con la imagen, y la recuperación innecesaria de conocimiento puede introducir ruido. Segundo, el proceso de recuperación debe ser eficiente y preciso, a menudo requiriendo que el sistema consulte una gran base de conocimiento en tiempo real. Tercero, la integración de evidencia visual y basada en conocimiento requiere un razonamiento sofisticado, ya que la respuesta puede depender de combinar múltiples hechos o resolver contradicciones entre lo que se ve y lo que se sabe.
Otro desafío significativo es el costo de aumento de datos y anotación. La creación de conjuntos de datos KVQA requiere emparejar imágenes con preguntas cuyas respuestas no están en la imagen, lo que exige anotación manual y curación de la base de conocimiento. Esto ha llevado al uso de pipelines semiautomáticos que generan preguntas a partir de grafos de conocimiento, pero estos a menudo producen preguntas simplistas o poco naturales. Como resultado, muchos modelos KVQA se evalúan en dominios limitados, como puntos de referencia famosos o celebridades, y su rendimiento en preguntas de dominio abierto sigue siendo limitado.
Enfoques Modernos
Con el auge de los grandes modelos de lenguaje y modelos multimodales como GPT-4V (de OpenAI) y Gemini (de Google DeepMind), KVQA ha experimentado un cambio de paradigma. Estos modelos, a menudo construidos sobre arquitecturas de transformadores con miles de millones de parámetros, se preentrenan en corpus masivos de texto e imágenes, codificando implícitamente una gran cantidad de conocimiento mundial. Como resultado, a menudo pueden responder preguntas visuales basadas en conocimiento sin recuperación explícita, aprovechando el conocimiento incrustado en sus parámetros. Este enfoque, a veces llamado KVQA de "libro cerrado", ha mostrado resultados impresionantes en puntos de referencia como OK-VQA (Outside Knowledge VQA), que se introdujo en 2019 y requiere conocimiento externo.
Sin embargo, los modelos de libro cerrado tienen limitaciones, incluida la alucinación (generar respuestas plausibles pero incorrectas) y dificultad con hechos raros o recientes. Para abordar esto, los enfoques híbridos combinan conocimiento paramétrico con recuperación no paramétrica, utilizando técnicas como atención cruzada para fusionar fragmentos de conocimiento recuperados con características visuales. Por ejemplo, modelos como REVEAL y KAT (Knowledge-Augmented Transformer) utilizan un recuperador para obtener pasajes relevantes de un corpus de conocimiento, y luego los alimentan a un generador basado en transformadores. Estos sistemas a menudo emplean búsqueda de haz o muestreo top-p durante la decodificación para producir respuestas.
La integración de grafos de conocimiento con incrustaciones también se ha explorado, donde el modelo aprende a razonar sobre estructuras de grafos. Por ejemplo, algunos trabajos utilizan redes neuronales de grafos para propagar información desde entidades recuperadas, lo que permite un razonamiento de múltiples saltos. Estos métodos son particularmente útiles para preguntas que requieren combinar múltiples hechos, como "¿Quién es el director de la película protagonizada por este actor?"
Evaluación y Puntos de Referencia
Los puntos de referencia estándar para KVQA incluyen FVQA, KVQA y OK-VQA. FVQA (2016) contiene alrededor de 2,000 preguntas con una base de conocimiento de 50,000 hechos. KVQA (2018) tiene más de 18,000 preguntas sobre 1,800 personas y lugares famosos, con respuestas obtenidas de Freebase. OK-VQA (2019) es más grande, con más de 14,000 preguntas que requieren conocimiento externo, pero no proporciona una base de conocimiento específica, lo que lo hace más desafiante. Puntos de referencia más recientes, como A-OKVQA (2022), amplían esto con preguntas de opción múltiple y de respuesta abierta, e incluyen una base de conocimiento de subtítulos de imágenes y hechos externos.
Las métricas de evaluación típicamente incluyen precisión (coincidencia exacta o corrección de opción múltiple) y, para modelos generativos, métricas como CIDEr o BLEU. Sin embargo, estas métricas a menudo no logran capturar la calidad del razonamiento, y hay un debate en curso sobre si los modelos realmente razonan o simplemente memorizan patrones. Algunos investigadores han propuesto conjuntos de datos de diagnóstico que prueban habilidades de razonamiento específicas, como preguntas composicionales o ejemplos adversariales que requieren conocimiento que no está en la distribución de entrenamiento.
Aplicaciones y Direcciones Futuras
KVQA tiene aplicaciones prácticas en dominios como la tecnología de asistencia (ayudando a usuarios con discapacidad visual a comprender su entorno), la educación (respondiendo preguntas sobre imágenes históricas o diagramas científicos) y el comercio electrónico (proporcionando información de productos basada en imágenes). En el campo médico, KVQA podría asistir a los radiólogos respondiendo preguntas sobre exploraciones que requieren conocimiento de anatomía o enfermedad, aunque esto sigue siendo un área de investigación activa.
Las direcciones futuras incluyen mejorar la fiabilidad de la recuperación de conocimiento, reducir la alucinación en modelos generativos y desarrollar puntos de referencia que reflejen mejor la complejidad del mundo real. También hay interés en hacer que los modelos KVQA sean más interpretables, permitiendo a los usuarios ver qué hechos se utilizaron para derivar una respuesta. A medida que la IA generativa continúa avanzando, es probable que KVQA se convierta en un componente estándar de los asistentes multimodales, permitiéndoles responder una amplia gama de preguntas visuales con conocimiento mundial.
Véase También
- Respuesta a preguntas visuales
- Grafo de conocimiento
- Aprendizaje multimodal
- Generación aumentada por recuperación