CLEVR (Compositional Language and Elementary Visual Reasoning) est un ensemble de données de référence introduit en 2017 pour évaluer les capacités de raisonnement visuel des systèmes d'intelligence artificielle. Il se compose de 100 000 images rendues de formes 3D simples et de 853 554 questions correspondantes, conçues pour isoler et mesurer des compétences de raisonnement spécifiques telles que le comptage, la comparaison, l'identification d'attributs et les relations spatiales. L'ensemble de données a été développé par des chercheurs de l'Université Stanford, dont Justin Johnson, Bharath Hariharan et Fei-Fei Li, pour remédier aux limites des ensembles de données de réponse à des questions visuelles existants qui reposaient souvent sur des biais statistiques plutôt que sur une compréhension réelle.
Les images de CLEVR présentent des objets avec trois formes (cube, sphère, cylindre), deux tailles (grande, petite), deux matériaux (caoutchouc, métal) et huit couleurs (gris, bleu, marron, jaune, rouge, vert, violet, cyan). Chaque scène contient entre 3 et 10 objets placés aléatoirement dans un environnement 3D. Les questions sont générées à partir de 90 modèles fonctionnels distincts, produisant des variations qui testent le raisonnement sur l'existence, le comptage, la comparaison, les requêtes d'attributs et les relations spatiales comme gauche, droite, devant, derrière. Le processus de génération contrôlé garantit que les réponses sont uniquement déterminées par la scène et la question, éliminant les ambiguïtés et permettant une analyse précise des erreurs.
Objectifs de conception et valeur diagnostique
L'objectif principal de CLEVR est de servir d'outil diagnostique pour la recherche en Artificial intelligence, en particulier pour les systèmes utilisant Deep learning et Neural network. Contrairement aux ensembles de données du monde réel, CLEVR élimine le bruit visuel, les variations d'éclairage et l'encombrement de l'arrière-plan pour isoler les opérations cognitives. Les chercheurs peuvent systématiquement perturber les scènes et les questions pour identifier des modes de défaillance spécifiques dans les modèles, tels que l'incapacité à compter plusieurs objets ou la confusion entre les prépositions spatiales. Ce retour d'information granulaire accélère les améliorations itératives dans la conception des modèles, car les erreurs peuvent être attribuées à des étapes de raisonnement particulières plutôt qu'à des baisses de performance générales.
Impact sur le développement des modèles
CLEVR a joué un rôle déterminant dans l'avancement des approches de Machine learning pour le raisonnement compositionnel. Les résultats initiaux ont montré que les réseaux convolutifs et récurrents standard obtenaient des performances proches du hasard sur des questions complexes, tandis que la précision humaine dépassait 92 pour cent. Cet écart a motivé le développement d'architectures spécialisées comme le Relation Network, qui modélise explicitement les interactions par paires entre objets, et le réseau MAC (Memory, Attention, and Composition), qui décompose les questions en étapes de raisonnement. Ces modèles ont atteint une précision supérieure à 98 pour cent sur CLEVR, démontrant que des a priori structurels explicites pouvaient surmonter les échecs précoces. L'ensemble de données a également stimulé la recherche sur les réseaux modulaires, où des modules séparés gèrent des fonctions spécifiques comme le comptage ou la comparaison, et sur les générateurs de programmes qui traduisent les questions en code exécutable.
Limites et critiques
Malgré son succès, CLEVR fait face à un examen minutieux concernant sa généralité. La nature synthétique et les types d'objets limités signifient que les modèles peuvent surajuster la distribution étroite, obtenant de bonnes performances sur CLEVR mais de mauvaises performances sur des tâches du monde réel telles que celles trouvées dans les évaluations de produits OpenAI ou Google DeepMind. Des chercheurs, dont Brendan Lake et Joshua Tenenbaum, ont noté qu'une haute précision n'implique pas nécessairement une généralisation robuste à des compositions nouvelles. L'ensemble de données manque également d'ambiguïté, courante dans le langage humain, et ne teste pas le raisonnement sur les actions ou les dynamiques temporelles. Ces critiques ont conduit à des ensembles de données dérivés comme CLEVR-Hyp, CLEVRER et Compositional CLEVR, qui introduisent des scènes hypothétiques, des événements dynamiques et des types d'objets plus complexes pour dépasser le cadre initial.
Référencement et normalisation
L'ensemble de données CLEVR est devenu une référence standard dans les communautés de Computer vision et Natural language processing, apparaissant dans de nombreux articles de recherche et classements. Sa conception contrôlée le rend adapté aux études d'ablation, où les chercheurs suppriment systématiquement des composants d'un modèle pour mesurer leur contribution. Le code et les outils de génération de l'ensemble de données sont open-source, permettant une personnalisation pour des expériences spécifiques. Les principaux fournisseurs de cloud comme Amazon Web Services et Google Cloud incluent CLEVR dans leurs tutoriels d'apprentissage automatique, tandis que des cours académiques dans des institutions telles que MIT CSAIL et Carnegie Mellon University l'utilisent pour des projets étudiants. La longévité de la référence provient de ses métriques claires, de sa facilité de réplication et de l'interprétabilité des erreurs, qui restent précieuses même à mesure que de nouveaux ensembles de données émergent.
Directions futures
Les travaux en cours visent à étendre les principes de CLEVR à des domaines plus réalistes tout en maintenant la clarté diagnostique. Par exemple, CLEVR-X introduit des graphes de connaissances externes, et CLEVR-Ref ajoute des expressions référentielles. L'essor des Large language model et des architectures Transformer (architecture) a conduit à des tests pour savoir si ces modèles peuvent résoudre des questions de style CLEVR sans traitement visuel explicite, en convertissant les scènes en descriptions textuelles. Les résultats préliminaires indiquent que des modèles comme GPT-4 peuvent atteindre une précision modérée, mais rencontrent encore des difficultés avec le raisonnement spatial en plusieurs étapes, suggérant que les approches Generative AI nécessitent une intégration avec des modules de raisonnement structurés. L'ensemble de données reste donc un domaine actif pour évaluer la généralisation compositionnelle, un défi clé pour les systèmes d'IA de nouvelle génération.