CLEVR (Compositional Language and Elementary Visual Reasoning) es un conjunto de datos de referencia introducido en 2017 para evaluar las capacidades de razonamiento visual de los sistemas de inteligencia artificial. Consiste en 100,000 imágenes renderizadas de formas 3D simples y 853,554 preguntas correspondientes, diseñado para aislar y medir habilidades de razonamiento específicas como contar, comparar, identificar atributos y relaciones espaciales. El conjunto de datos fue desarrollado por investigadores de la Universidad de Stanford, incluyendo a Justin Johnson, Bharath Hariharan y Fei-Fei Li, para abordar las limitaciones en los conjuntos de datos existentes de respuesta a preguntas visuales que a menudo dependían de sesgos estadísticos en lugar de una comprensión genuina.
Las imágenes en CLEVR presentan objetos con tres formas (cubo, esfera, cilindro), dos tamaños (grande, pequeño), dos materiales (goma, metal) y ocho colores (gris, azul, marrón, amarillo, rojo, verde, púrpura, cian). Cada escena contiene entre 3 y 10 objetos colocados aleatoriamente en un entorno 3D. Las preguntas se generan a partir de 90 plantillas funcionales distintas, produciendo variaciones que prueban el razonamiento sobre existencia, conteo, comparación, consultas de atributos y relaciones espaciales como izquierda, derecha, frente, detrás. El proceso de generación controlado asegura que las respuestas estén determinadas de manera única por la escena y la pregunta, eliminando ambigüedades y permitiendo un análisis de errores preciso.
Objetivos de Diseño y Valor Diagnóstico
El propósito principal de CLEVR es servir como una herramienta diagnóstica para la investigación en Artificial intelligence, particularmente para sistemas que utilizan Deep learning y arquitecturas de Neural network. A diferencia de los conjuntos de datos del mundo real, CLEVR elimina el ruido visual, la variación de iluminación y el desorden de fondo para aislar operaciones cognitivas. Los investigadores pueden perturbar sistemáticamente escenas y preguntas para identificar modos de fallo específicos en los modelos, como la incapacidad de contar múltiples objetos o la confusión entre preposiciones espaciales. Esta retroalimentación granular acelera las mejoras iterativas en el diseño de modelos, ya que los errores pueden rastrearse hasta pasos de razonamiento particulares en lugar de caídas generales de rendimiento.
Impacto en el Desarrollo de Modelos
CLEVR ha sido instrumental en el avance de enfoques de Machine learning para el razonamiento composicional. Los resultados iniciales mostraron que las redes convolucionales y recurrentes estándar funcionaban cerca del azar en preguntas complejas, mientras que la precisión humana superaba el 92 por ciento. Esta brecha motivó el desarrollo de arquitecturas especializadas como la Relation Network, que modela explícitamente interacciones por pares entre objetos, y la red MAC (Memory, Attention, and Composition), que descompone preguntas en pasos de razonamiento. Estos modelos lograron una precisión superior al 98 por ciento en CLEVR, demostrando que los priors estructurales explícitos podían superar los fallos tempranos. El conjunto de datos también impulsó la investigación en redes modulares, donde módulos separados manejan funciones específicas como contar o comparar, y en generadores de programas que traducen preguntas a código ejecutable.
Limitaciones y Críticas
A pesar de su éxito, CLEVR enfrenta escrutinio respecto a su generalidad. La naturaleza sintética y los tipos de objetos limitados significan que los modelos pueden sobreajustarse a la distribución estrecha, funcionando bien en CLEVR pero mal en tareas del mundo real como las que se encuentran en las evaluaciones de productos de OpenAI o Google DeepMind. Investigadores, incluyendo a Brendan Lake y Joshua Tenenbaum, han señalado que una alta precisión no implica necesariamente una generalización robusta a composiciones novedosas. El conjunto de datos también carece de ambigüedad, común en el lenguaje humano, y no prueba el razonamiento sobre acciones o dinámicas temporales. Estas críticas han llevado a conjuntos de datos derivados como CLEVR-Hyp, CLEVRER y Compositional CLEVR, que introducen escenas hipotéticas, eventos dinámicos y tipos de objetos más complejos para ir más allá del alcance original.
Evaluación Comparativa y Estandarización
El conjunto de datos CLEVR se ha convertido en un estándar de referencia en las comunidades de Computer vision y Natural language processing, apareciendo en numerosos artículos de investigación y tablas de clasificación. Su diseño controlado lo hace adecuado para estudios de ablación, donde los investigadores eliminan sistemáticamente componentes de un modelo para medir su contribución. El código y las herramientas de generación del conjunto de datos son de código abierto, permitiendo la personalización para experimentos específicos. Los principales proveedores de nube como Amazon Web Services y Google Cloud incluyen CLEVR en sus tutoriales de aprendizaje automático, mientras que cursos académicos en instituciones como MIT CSAIL y Carnegie Mellon University lo utilizan para proyectos estudiantiles. La longevidad del punto de referencia proviene de sus métricas claras, facilidad de replicación e interpretabilidad de errores, que siguen siendo valiosas incluso a medida que surgen conjuntos de datos más nuevos.
Direcciones Futuras
El trabajo en curso tiene como objetivo extender los principios de CLEVR a dominios más realistas mientras se mantiene la claridad diagnóstica. Por ejemplo, CLEVR-X introduce grafos de conocimiento externos, y CLEVR-Ref añade expresiones referenciales. El auge de los Large language models y las arquitecturas de Transformer (architecture) ha llevado a pruebas de si estos modelos pueden resolver preguntas de estilo CLEVR sin procesamiento visual explícito, convirtiendo escenas en descripciones textuales. Los resultados tempranos indican que modelos como GPT-4 pueden lograr una precisión moderada, pero aún luchan con el razonamiento espacial de múltiples pasos, sugiriendo que los enfoques de Generative AI requieren integración con módulos de razonamiento estructurado. El conjunto de datos sigue siendo así un área activa para evaluar la generalización composicional, un desafío clave para los sistemas de IA de próxima generación.