NLVR2 (Natural Language Visual Reasoning, versión 2) es un conjunto de datos de referencia en el campo de la inteligencia artificial y el aprendizaje automático diseñado para evaluar la capacidad de un modelo para realizar razonamiento visual. La tarea requiere que un sistema examine dos imágenes y un texto descriptivo en lenguaje natural, para luego determinar si la descripción es verdadera o falsa con respecto al par de imágenes. A diferencia de su predecesor, NLVR, que utilizaba escenas sintéticas generadas por computadora, NLVR2 emplea fotografías del mundo real obtenidas de Internet, lo que hace que la tarea de razonamiento sea significativamente más compleja y más cercana a las aplicaciones del mundo real.
El conjunto de datos fue introducido en 2019 por investigadores de la Universidad de Stanford y la Universidad de Carolina del Norte en Chapel Hill, como sucesor del punto de referencia original NLVR lanzado en 2017. La motivación principal era abordar las limitaciones de los datos sintéticos, que permitían a los modelos explotar atajos visuales de bajo nivel en lugar de involucrarse en un razonamiento genuino. NLVR2 consta de más de 107,000 descripciones escritas por humanos, cada una emparejada con dos imágenes distintas. Las descripciones son diversas y abarcan relaciones espaciales, conteo, comparaciones y operaciones lógicas, y a menudo requieren comprender ambas imágenes simultáneamente.
Definición de la Tarea y Evaluación
En NLVR2, cada ejemplo presenta al modelo un par de imágenes (izquierda y derecha) junto con una descripción. El modelo debe generar una decisión binaria: 'verdadero' si la descripción describe correctamente el par, o 'falso' en caso contrario. Por ejemplo, una descripción podría indicar 'la imagen izquierda contiene más personas que la derecha', y el modelo debe verificar esto comparando las dos imágenes. La métrica de evaluación es simplemente la precisión de clasificación en el conjunto de prueba reservado. Debido a que las descripciones son escritas por humanos y las imágenes son fotografías naturales, la tarea exige una percepción visual robusta, una comprensión del lenguaje y un razonamiento intermodal.
El conjunto de datos está dividido en conjuntos de entrenamiento, desarrollo y prueba, siendo el conjunto de prueba utilizado para clasificaciones oficiales en el ranking. Una característica notable es que el conjunto de prueba incluye ejemplos 'difíciles' diseñados para ser particularmente desafiantes, como descripciones que implican negación o preposiciones espaciales complejas. Esto asegura que los modelos no puedan obtener puntuaciones altas mediante la memorización de patrones o el uso de señales superficiales.
Relación con Otros Benchmarks
NLVR2 es parte de una familia más amplia de benchmarks de razonamiento visual, incluyendo VQA (Visual Question Answering) y CLEVR. Sin embargo, se diferencia del VQA en que requiere la comparación de dos imágenes en lugar de responder preguntas abiertas sobre una sola imagen. En comparación con CLEVR, que utiliza escenas sintéticas 3D, el uso de fotografías reales en NLVR2 introduce una mayor variabilidad y ambigüedad, lo que lo convierte en una prueba más realista de generalización. El conjunto de datos se utiliza a menudo en combinación con modelos de aprendizaje profundo, particularmente aquellos basados en arquitecturas de transformador, que se han convertido en el estándar para tareas multimodales.
NLVR2 también ha influido en benchmarks posteriores, como NLVR3 y tareas más amplias de 'entrañamiento visual', donde el objetivo es determinar si una descripción está implicada por una imagen. Sigue siendo un recurso ampliamente citado para evaluar modelos de redes neuronales que combinan visión y lenguaje, y a menudo se utiliza en la investigación sobre extensiones de modelos de lenguaje grandes que incorporan entradas visuales.
Rendimiento del Modelo y Desafíos
Los primeros modelos que alcanzaron una alta precisión en NLVR dependían a menudo de estadísticas de imágenes sintéticas, pero estos enfoques fallaron en NLVR2. El cambio a imágenes naturales expuso lagunas significativas en las capacidades de los modelos. Los modelos cabeza de turón, a partir de 2024, alcanzan alrededor de un 80-85% de precisión en el conjunto de prueba, dejando un margen considerable para la mejora. El rendimiento humano en la misma tarea se estima en más del 95%, lo que indica que los sistemas actuales todavía tienen problemas con el razonamiento matizado, como la comprensión de relaciones implícitas o el manejo de descripciones ambiguas.
Los desafíos clave incluyen la adecuación a variaciones de iluminación, la perspectiva y la apariencia de los objetos, así como la numeración de contradicciones lógicas dentro de la descripción. Los modelos suelen fallar cuando se requiere contar objetos con precisión o cuando las descripciones contienen términos relacionados con el espacio como 'sobre' o 'entre', que dependen de la ubicación relativa de los objetos en ambas imágenes. Los investigadores han explorado varias innovaciones arquitectónicas, incluidos mecanismos de atención cruzada y capas de atención de múltiples cabezales, para asignar mejor las características visuales a las representaciones textuales.
Aplicaciones e Impacto
Las habilidades que NLVR2 pone a prueba siendo examinadas son directamente relevantes para aplicaciones como sistemas de IA generativa que generan descripciones de imágenes, tecnologías de asistencia para usuarios con discapacidades visuales y sistemas autónomos que necesitan razonar sobre escenas visuales. El benchmark ha sido utilizado para evaluar modelos de laboratorios de investigación importantes, incluidos los asociados con Google DeepMind, OpenAI y Anthropic, así como instituciones académicas como MIT CSAIL y BAIR (Berkeley AI Research).
NLVR2 también ha impulsado el desarrollo de nuevas técnicas de entrenamiento, como el aprendizaje por máquinas de contraste y el aprendizaje por currículo, donde los modelos se entrenan primero en ejemplos más fáciles antes de exponerse a otros más difíciles. La realización de una available pública del conjunto de datos ha hecho de él un banco de pruebas estándar para comparar modelos multimodales, y a menudo se incluye en suites de evaluación más amplias junto con otros benchmarks como VQA y Visual Genome.
Direcciones Futuras
A partir de 2025, la investigación continúa en la búsqueda de avanzar los límites del razonamiento visual. La integración de NLVR2 con marcos de modelos de lenguaje grandes, donde un modelo de lenguaje se mejora con codificadores visuales, ha mostrado promesa. Sin embargo, estos modelos siguen siendo frágiles, particularmente cuando las descripciones contienen palabras poco comunes o combinaciones de objetos inusuales. El trabajo futuro puede implicar ampliar el conjunto de datos para incluir fuentes de imágenes más diversas, incorporar el razonamiento temporal o basado en cuanto a video, y desarrollar métricas que vayan más allá de la precisión binaria para capturar la calidad de los pasos de razonamiento.
El benchmark sigue siendo una herramienta fundamental para medir el progreso en inteligencia artificial, destacando el abismo entre la comprensión humana y la máquina de escenas visuales. Sus principios de diseño han influido en muchos conjuntos de datos posteriores, consolidando su papel como recurso fundacional en el campo del aprendizaje automático multimodal.