Le raisonnement visuel en langage naturel (NLVR) est un sous-domaine de l'Artificial intelligence qui combine la vision par ordinateur et le traitement du langage naturel pour permettre aux machines d'interpréter des informations visuelles et d'effectuer des tâches de raisonnement exprimées en langage humain. Le terme est le plus souvent associé au benchmark NLVR, un ensemble de données introduit en 2016 pour évaluer la capacité d'un modèle à comprendre des phrases complexes et à les vérifier par rapport à des images. Contrairement à la réponse à des questions visuelles plus simple, les tâches NLVR exigent un raisonnement compositionnel, comme comparer des relations spatiales, compter des objets ou appliquer des opérateurs logiques comme « et » et « ou » au contenu visuel.
Le défi central du NLVR réside dans le fait de combler le fossé sémantique entre les descriptions linguistiques et les données visuelles au niveau des pixels. Une tâche NLVR typique présente une phrase (par exemple, « Il y a au moins trois blocs bleus à gauche d'un cylindre rouge ») et une image, et le système doit produire une valeur de vérité binaire (vrai ou faux). Cela exige non seulement la reconnaissance d'objets, mais aussi une compréhension des prépositions spatiales, des quantificateurs et de la négation. Le benchmark a été conçu pour être synthétique afin de contrôler les biais, en utilisant des scènes 3D rendues avec des formes géométriques simples, ce qui permet aux chercheurs d'isoler les capacités de raisonnement de la complexité visuelle du monde réel.
Développement historique
L'ensemble de données NLVR original a été introduit par des chercheurs du Stanford AI Lab et de l'University of Toronto en 2016, avec un article présenté à la Conférence sur les méthodes empiriques en traitement du langage naturel. La version initiale contenait plus de 90 000 phrases écrites par des humains, appariées à des images synthétiques générées à l'aide d'un moteur de rendu 3D. Chaque image représentait un ensemble de formes colorées (blocs, cylindres, sphères) disposées dans une grille. Les phrases ont été collectées par crowdsourcing, les annotateurs étant invités à décrire ou à faire des affirmations sur les scènes. L'ensemble de données a ensuite été étendu à NLVR2 en 2018, qui utilisait des photographies naturelles provenant du web au lieu d'images synthétiques, augmentant la difficulté et la pertinence par rapport au monde réel.
Les premières approches du NLVR reposaient sur des architectures de Neural network, en particulier des modèles Sequence-to-Sequence (Seq2Seq) et des cadres Encoder-Decoder Architecture. Ces systèmes encodaient généralement l'image à l'aide d'un réseau neuronal convolutif et la phrase à l'aide d'un réseau neuronal récurrent, puis fusionnaient les représentations pour faire une prédiction. Cependant, ces modèles avaient souvent du mal avec la généralisation compositionnelle, performant bien sur des structures de phrases familières mais échouant sur des combinaisons nouvelles de mots et de concepts visuels.
Méthodes et architectures clés
Les systèmes NLVR modernes exploitent des modèles basés sur Transformer (architecture) et des Large language models. Une approche courante consiste à utiliser un modèle vision-langage pré-entraîné qui encode conjointement les images et le texte, comme CLIP ou ViLBERT, puis à l'affiner sur la tâche NLVR. Ces modèles utilisent des mécanismes de Multi-Head Attention pour aligner les régions visuelles avec les jetons textuels, permettant un raisonnement plus nuancé. Par exemple, le modèle peut se concentrer sur le bloc bleu spécifique lors du traitement du mot « bleu » et sur la région gauche lors du traitement de « à gauche de ».
Une autre ligne de travail utilise des réseaux modulaires, où la phrase est analysée en un programme (par exemple, une séquence d'opérations comme « filter(bleu), count, greater-than(3) ») qui est exécuté sur l'image. Cette approche, inspirée par Curriculum Learning et le raisonnement neuro-symbolique, améliore l'interprétabilité et la généralisation. Certains modèles récents intègrent également des couches de Cross-Attention pour permettre aux flux linguistique et visuel d'interagir de manière itérative, affinant la représentation sur plusieurs étapes.
Évaluation et benchmarks
La métrique principale pour le NLVR est la précision de classification sur l'ensemble de test réservé. L'ensemble de données NLVR original est divisé en partitions d'entraînement, de développement et de test, l'ensemble de test étant gardé privé pour une évaluation officielle. NLVR2, la version avec images naturelles, contient plus de 107 000 images et 107 000 phrases, avec une tâche de classification binaire similaire. Les chercheurs évaluent également sur des partitions hors distribution pour tester la généralisation compositionnelle, où les phrases de test contiennent des combinaisons nouvelles de mots et de structures non vues pendant l'entraînement.
Au-delà des benchmarks originaux, le NLVR a influencé d'autres tâches de raisonnement, comme l'implication visuelle et la compréhension du langage ancré. La nature synthétique du NLVR permet des expériences contrôlées, mais elle limite aussi la transférabilité aux applications du monde réel. En conséquence, de nombreux chercheurs utilisent le NLVR comme un outil de diagnostic plutôt que comme une cible d'application finale, le combinant avec d'autres ensembles de données comme VQA (réponse à des questions visuelles) pour évaluer la capacité globale de raisonnement visuel d'un modèle.
Défis et limites
Un défi majeur dans le NLVR est la gestion de l'ambiguïté et de la variabilité linguistiques. Les phrases humaines peuvent être paraphrasées d'innombrables façons, et les modèles doivent être robustes aux synonymes, aux réorganisations et aux références implicites. Un autre problème est la dépendance aux images synthétiques dans l'ensemble de données original, qui peut ne pas capturer la complexité des scènes du monde réel, conduisant à un surapprentissage sur des motifs géométriques simples. NLVR2 répond à cela mais introduit de nouveaux défis, comme l'encombrement de l'arrière-plan et l'occlusion des objets.
De plus, les modèles actuels s'appuient souvent sur des corrélations statistiques plutôt que sur un véritable raisonnement. Par exemple, un modèle pourrait apprendre que les phrases contenant le mot « gauche » sont plus susceptibles d'être vraies dans certaines configurations d'images, sans comprendre réellement les relations spatiales. Cela a conduit à des recherches sur le raisonnement causal et l'évaluation contrefactuelle, où les modèles sont testés sur des exemples adversariaux conçus pour exposer de tels raccourcis.
Applications et orientations futures
Le NLVR a des implications pratiques pour les systèmes de Generative AI qui doivent vérifier ou décrire un contenu visuel, comme la génération de légendes d'images, le dialogue visuel et les technologies d'assistance pour les utilisateurs malvoyants. Il se connecte également à des efforts plus larges en Machine learning pour atteindre une généralisation compositionnelle de type humain, un objectif clé de chercheurs comme Brendan Lake et Joshua Tenenbaum. Les orientations futures incluent l'intégration du NLVR avec l'Reinforcement learning à partir de retours humains (Reinforcement Learning from AI Feedback (RLAIF)) pour améliorer l'alignement avec les jugements humains, et la mise à l'échelle vers des scènes visuelles plus diverses et complexes en utilisant des techniques de Data Augmentation.
Au milieu des années 2020, les modèles de pointe sur NLVR2 atteignent une précision supérieure à 90 %, mais ils restent en deçà de la performance humaine, qui est proche de 98 %. Cet écart souligne la difficulté persistante du raisonnement visuel, en particulier pour gérer des combinaisons nouvelles de concepts et des phrases longues à plusieurs clauses. Les progrès continus viendront probablement d'une meilleure intégration du raisonnement symbolique avec les réseaux neuronaux, ainsi que d'ensembles de données d'entraînement plus vastes et plus diversifiés.
Voir aussi
- réponse à des questions visuelles (note : pas dans la liste fournie, mais connexe)
- généralisation-compositionnelle (pas dans la liste, mais implicite)
- IA-neuro-symbolique (pas dans la liste, mais implicite)
Note : Les liens « Voir aussi » ci-dessus sont des espaces réservés car la liste de slugs fournie n'inclut pas ces termes spécifiques ; dans un article complet, ils renverraient à des pages pertinentes.