Un modèle vision-langage (VLM) est un système multimodal entraîné à comprendre conjointement les images et le texte, permettant des tâches telles que la génération de légendes d'images, la réponse à des questions visuelles, la récupération image-texte et un raisonnement ancré qui relie le langage à un contenu visuel spécifique. Les VLM s'inscrivent dans la catégorie plus large des modèles de fondation et sont généralement construits sur l'architecture Transformer (architecture).
Historique
Les VLM modernes remontent à CLIP d'OpenAI (2021), qui utilisait l'apprentissage contrastif sur des centaines de millions de paires image-texte extraites du web pour aligner les images et leurs légendes dans un espace d'embedding partagé, sans nécessiter de catégories étiquetées manuellement. Les embeddings de CLIP se sont révélés utiles bien au-delà de la classification, alimentant le mécanisme de guidage dans les premiers systèmes Text-to-image generation et devenant un encodeur visuel standard pour les modèles ultérieurs. De 2021 à 2023, des modèles tels que Flamingo, BLIP et LLaVA ont exploré des moyens de connecter un encodeur visuel figé ou légèrement ajusté à un grand modèle de langage pré-entraîné, permettant au raisonnement et aux connaissances du modèle de langage de s'étendre aux entrées visuelles avec un entraînement supplémentaire relativement limité.
Architecture
La plupart des VLM combinent un encodeur visuel, souvent un CNN ou un transformateur visuel, avec un backbone de modèle de langage, reliés par une couche de projection qui mappe les caractéristiques d'image dans l'espace d'embedding de tokens que le modèle de langage comprend déjà. Le modèle combiné est ensuite entraîné ou affiné sur des données appariées image-texte afin que le modèle de langage apprenne à prêter attention aux tokens visuels de la même manière qu'aux tokens textuels via le mécanisme d'attention. Certains systèmes plus récents, notamment Gemini et GPT-4o, sont entraînés nativement comme des modèles multimodaux unifiés plutôt qu'assemblés à partir de pièces pré-entraînées séparément, brouillant la frontière entre un VLM et un modèle de fondation multimodal général.
Capacités et cas d'usage
Les VLM peuvent décrire des images, répondre à des questions sur des graphiques et diagrammes, lire et raisonner sur du texte intégré (en chevauchement avec l'OCR), comparer plusieurs images et, lorsqu'ils sont combinés avec l'utilisation d'outils ou des boucles agentiques, prendre des actions basées sur ce qu'ils voient, comme dans les agents d'utilisation d'ordinateur qui interprètent des captures d'écran pour opérer des logiciels. Ils sous-tendent des fonctionnalités d'accessibilité, la perception robotique, des outils de triage d'images médicales et des systèmes de modération de contenu qui doivent raisonner sur les images plutôt que de simplement les classer.
Évaluation et limites
Les VLM sont évalués sur des benchmarks couvrant la réponse à des questions visuelles, la compréhension de graphiques et de documents, et la reconnaissance fine ; la performance se dégrade encore sur des tâches nécessitant un comptage précis, des relations spatiales ou la lecture de texte petit ou pivoté. Comme d'autres systèmes multimodaux, les VLM peuvent halluciner des objets ou des détails absents d'une image, un mode de défaillance étudié sous le nom d'« hallucination d'objets », et leur comportement peut être manipulé par des entrées visuelles adversariales ou trompeuses, y compris du texte intégré dans une image que le modèle traite comme une instruction, une forme visuelle de Prompt injection.
Exemples notables
Les VLM et systèmes capables de VLM largement utilisés incluent CLIP comme encodeur fondamental, LLaVA et ses successeurs dans la communauté de recherche ouverte, et les versions multimodales de grands laboratoires telles que Claude, Gemini et GPT-4/GPT-4o, qui intègrent toutes la compréhension visuelle dans un assistant généraliste plutôt que de l'offrir comme un produit autonome.