CLEVR (Compositional Language and Elementary Visual Reasoning) é um conjunto de dados de referência introduzido em 2017 para avaliar as capacidades de raciocínio visual de sistemas de inteligência artificial. Consiste em 100.000 imagens renderizadas de formas 3D simples e 853.554 perguntas correspondentes, projetadas para isolar e medir habilidades específicas de raciocínio, como contagem, comparação, identificação de atributos e relações espaciais. O conjunto de dados foi desenvolvido por pesquisadores da Universidade de Stanford, incluindo Justin Johnson, Bharath Hariharan e Fei-Fei Li, para abordar limitações em conjuntos de dados existentes de resposta a perguntas visuais, que frequentemente dependiam de vieses estatísticos em vez de compreensão genuína.
As imagens em CLEVR apresentam objetos com três formas (cubo, esfera, cilindro), dois tamanhos (grande, pequeno), dois materiais (borracha, metal) e oito cores (cinza, azul, marrom, amarelo, vermelho, verde, roxo, ciano). Cada cena contém entre 3 e 10 objetos colocados aleatoriamente em um ambiente 3D. As perguntas são geradas a partir de 90 modelos funcionais distintos, produzindo variações que testam raciocínio sobre existência, contagem, comparação, consultas de atributos e relações espaciais como esquerda, direita, frente, atrás. O processo de geração controlado garante que as respostas sejam determinadas exclusivamente pela cena e pela pergunta, eliminando ambiguidades e permitindo uma análise precisa de erros.
Objetivos de Design e Valor Diagnóstico
O propósito principal de CLEVR é servir como uma ferramenta diagnóstica para a pesquisa em Artificial intelligence, particularmente para sistemas que usam Deep learning e arquiteturas de Neural network. Diferentemente de conjuntos de dados do mundo real, CLEVR elimina ruído visual, variação de iluminação e desordem de fundo para isolar operações cognitivas. Pesquisadores podem perturbar sistematicamente cenas e perguntas para identificar modos específicos de falha em modelos, como incapacidade de contar múltiplos objetos ou confusão entre preposições espaciais. Esse feedback granular acelera melhorias iterativas no design de modelos, pois os erros podem ser rastreados até etapas específicas de raciocínio, em vez de quedas gerais de desempenho.
Impacto no Desenvolvimento de Modelos
CLEVR tem sido fundamental para avançar abordagens de Machine learning para raciocínio composicional. Resultados iniciais mostraram que redes convolucionais e recorrentes padrão apresentavam desempenho próximo ao acaso em perguntas complexas, enquanto a precisão humana excedia 92 por cento. Essa lacuna motivou o desenvolvimento de arquiteturas especializadas, como a Relation Network, que modela explicitamente interações entre pares de objetos, e a rede MAC (Memory, Attention, and Composition), que decompõe perguntas em etapas de raciocínio. Esses modelos alcançaram precisão acima de 98 por cento em CLEVR, demonstrando que prioridades estruturais explícitas poderiam superar falhas iniciais. O conjunto de dados também estimulou pesquisas em redes modulares, onde módulos separados lidam com funções específicas como contagem ou comparação, e em geradores de programas que traduzem perguntas em código executável.
Limitações e Críticas
Apesar de seu sucesso, CLEVR enfrenta escrutínio quanto à sua generalidade. A natureza sintética e os tipos limitados de objetos significam que os modelos podem se ajustar excessivamente à distribuição restrita, tendo bom desempenho em CLEVR, mas ruim em tarefas do mundo real, como aquelas encontradas em avaliações de produtos da OpenAI ou Google DeepMind. Pesquisadores, incluindo Brendan Lake e Joshua Tenenbaum, notaram que alta precisão não implica necessariamente generalização robusta para composições novas. O conjunto de dados também carece de ambiguidade, comum na linguagem humana, e não testa raciocínio sobre ações ou dinâmicas temporais. Essas críticas levaram a benchmarks derivados, como CLEVR-Hyp, CLEVRER e Compositional CLEVR, que introduzem cenas hipotéticas, eventos dinâmicos e tipos de objetos mais complexos para ir além do escopo original.
Benchmarking e Padronização
O conjunto de dados CLEVR tornou-se um benchmark padrão nas comunidades de Computer vision e Natural language processing, aparecendo em numerosos artigos de pesquisa e tabelas de classificação. Seu design controlado o torna adequado para estudos de ablação, onde pesquisadores removem sistematicamente componentes de um modelo para medir sua contribuição. O código e as ferramentas de geração do conjunto de dados são de código aberto, permitindo personalização para experimentos específicos. Grandes provedores de nuvem, como Amazon Web Services e Google Cloud, incluem CLEVR em seus tutoriais de aprendizado de máquina, enquanto cursos acadêmicos em instituições como MIT CSAIL e Carnegie Mellon University o usam para projetos de estudantes. A longevidade do benchmark decorre de suas métricas claras, facilidade de replicação e interpretabilidade dos erros, que permanecem valiosos mesmo à medida que conjuntos de dados mais novos surgem.
Direções Futuras
Trabalhos em andamento visam estender os princípios de CLEVR para domínios mais realistas, mantendo a clareza diagnóstica. Por exemplo, CLEVR-X introduz grafos de conhecimento externos, e CLEVR-Ref adiciona expressões de referência. O surgimento de Large language models e arquiteturas Transformer (architecture) levou a testes sobre se esses modelos podem resolver perguntas no estilo CLEVR sem processamento visual explícito, convertendo cenas em descrições textuais. Resultados iniciais indicam que modelos como GPT-4 podem alcançar precisão moderada, mas ainda enfrentam dificuldades com raciocínio espacial de múltiplas etapas, sugerindo que abordagens de Generative AI requerem integração com módulos de raciocínio estruturado. O conjunto de dados, portanto, permanece uma área ativa para avaliar generalização composicional, um desafio-chave para sistemas de IA de próxima geração.