Un modelo de visión-lenguaje (VLM) es un sistema multimodal entrenado para comprender conjuntamente imágenes y texto, lo que permite tareas como el subtitulado de imágenes, la respuesta a preguntas visuales, la recuperación de imágenes por texto y el razonamiento fundamentado que conecta el lenguaje con contenido visual específico. Los VLM se sitúan dentro de la categoría más amplia de modelos fundacionales y suelen construirse sobre la arquitectura Transformer (architecture).
Historia
Los VLM modernos se remontan a CLIP de OpenAI (2021), que utilizó aprendizaje contrastivo sobre cientos de millones de pares de imagen-texto extraídos de la web para alinear imágenes y sus leyendas en un espacio de incrustaciones compartido, sin requerir categorías etiquetadas manualmente. Las incrustaciones de CLIP resultaron útiles mucho más allá de la clasificación, impulsando el mecanismo de guía en los primeros sistemas Text-to-image generation y convirtiéndose en un codificador visual estándar para modelos posteriores. Entre 2021 y 2023, modelos como Flamingo, BLIP y LLaVA exploraron formas de conectar un codificador visual congelado o ligeramente ajustado a un modelo de lenguaje grande preentrenado, permitiendo que el razonamiento y el conocimiento del modelo de lenguaje se extendieran a entradas visuales con un entrenamiento adicional comparativamente menor.
Arquitectura
La mayoría de los VLM combinan un codificador visual, a menudo una CNN o un transformador de visión, con una columna vertebral de modelo de lenguaje, conectados por una capa de proyección que mapea las características de la imagen al espacio de incrustaciones de tokens que el modelo de lenguaje ya comprende. El modelo combinado se entrena o ajusta con datos emparejados de imagen-texto para que el modelo de lenguaje aprenda a atender a los tokens visuales de la misma manera que atiende a los tokens de texto mediante el mecanismo de atención. Algunos sistemas más nuevos, incluidos Gemini y GPT-4o, se entrenan de forma nativa como modelos multimodales unificados en lugar de ensamblarse a partir de piezas preentrenadas por separado, difuminando la línea entre un VLM y un modelo fundacional multimodal general.
Capacidades y casos de uso
Los VLM pueden describir imágenes, responder preguntas sobre gráficos y diagramas, leer y razonar sobre texto incrustado (superponiéndose con el OCR), comparar múltiples imágenes y, cuando se combinan con uso de herramientas o bucles agénticos, tomar acciones basadas en lo que ven, como en los agentes de uso de computadora que interpretan capturas de pantalla para operar software. Respaldan funciones de accesibilidad, percepción robótica, herramientas de triaje de imágenes médicas y sistemas de moderación de contenido que necesitan razonar sobre imágenes en lugar de solo clasificarlas.
Evaluación y limitaciones
Los VLM se evalúan en puntos de referencia que cubren la respuesta a preguntas visuales, la comprensión de gráficos y documentos, y el reconocimiento de grano fino; el rendimiento aún se degrada en tareas que requieren conteo preciso, relaciones espaciales o lectura de texto pequeño o rotado. Al igual que otros sistemas multimodales, los VLM pueden alucinar objetos o detalles ausentes en una imagen, un modo de fallo estudiado bajo el término "alucinación de objetos", y su comportamiento puede manipularse con entradas visuales adversarias o engañosas, incluido texto incrustado en una imagen que el modelo trata como una instrucción, una forma visual de inyección de indicaciones.
Ejemplos notables
Los VLM y sistemas con capacidad VLM ampliamente utilizados incluyen a CLIP como codificador fundacional, LLaVA y sus sucesores en la comunidad de investigación abierta, y lanzamientos multimodales de grandes laboratorios como Claude, Gemini y GPT-4/GPT-4o, todos los cuales integran la comprensión visual en un asistente de propósito general en lugar de ofrecerla como un producto independiente.