Ein Vision-Language-Modell (VLM) ist ein multimodales System, das darauf trainiert ist, Bilder und Text gemeinsam zu verstehen, und Aufgaben wie Bildbeschreibung, visuelle Fragenbeantwortung, Bild-Text-Abruf und begründetes Denken ermöglicht, das Sprache mit spezifischen visuellen Inhalten verbindet. VLMs gehören zur breiteren Kategorie der Foundation-Modelle und basieren typischerweise auf der Transformer (architecture)-Architektur.
Geschichte
Moderne VLMs gehen auf OpenAIs CLIP (2021) zurück, das kontrastives Lernen auf Hunderten von Millionen aus dem Web gesammelter Bild-Text-Paare nutzte, um Bilder und ihre Bildunterschriften in einem gemeinsamen Einbettungsraum auszurichten, ohne dass handbeschriftete Kategorien erforderlich waren. CLIPs Einbettungen erwiesen sich als weit über die Klassifikation hinaus nützlich, trieben den Steuerungsmechanismus in frühen Text-to-image generation-Systemen an und wurden zu einem Standard-Encoder für spätere Modelle. Zwischen 2021 und 2023 untersuchten Modelle wie Flamingo, BLIP und LLaVA Wege, einen eingefrorenen oder leicht angepassten Vision-Encoder mit einem vortrainierten Large language model zu verbinden, wodurch die Denkfähigkeit und das Wissen des Sprachmodells mit vergleichsweise geringem zusätzlichem Training auf visuelle Eingaben ausgeweitet werden konnten.
Architektur
Die meisten VLMs kombinieren einen Vision-Encoder, oft ein CNN oder einen Vision-Transformer, mit einem Sprachmodell-Backbone, verbunden durch eine Projektionsschicht, die Bildmerkmale in den Token-Einbettungsraum abbildet, den das Sprachmodell bereits versteht. Das kombinierte Modell wird dann auf gepaarten Bild-Text-Daten trainiert oder feinabgestimmt, sodass das Sprachmodell lernt, visuelle Token auf dieselbe Weise zu beachten wie Text-Token über den Attention mechanism. Einige neuere Systeme, darunter Gemini und GPT-4o, werden nativ als einheitliche multimodale Modelle trainiert, anstatt aus separat vortrainierten Teilen zusammengesetzt zu werden, wodurch die Grenze zwischen einem VLM und einem allgemeinen multimodalen Foundation-Modell verschwimmt.
Fähigkeiten und Anwendungsfälle
VLMs können Bilder beschreiben, Fragen zu Diagrammen und Schaubildern beantworten, eingebetteten Text lesen und darüber nachdenken (überlappend mit OCR), mehrere Bilder vergleichen und, wenn sie mit Werkzeugnutzung oder agentischen Schleifen kombiniert werden, auf Grundlage dessen handeln, was sie sehen, wie bei Computer-Use-Agenten, die Screenshots interpretieren, um Software zu bedienen. Sie unterstützen Barrierefreiheitsfunktionen, Robotik-Wahrnehmung, medizinische Bildtriage-Werkzeuge und Content-Moderationssysteme, die über Bilder nachdenken müssen, anstatt sie nur zu klassifizieren.
Evaluierung und Einschränkungen
VLMs werden an Benchmarks evaluiert, die visuelle Fragenbeantwortung, Diagramm- und Dokumentverständnis sowie feinkörnige Erkennung abdecken; die Leistung verschlechtert sich weiterhin bei Aufgaben, die präzises Zählen, räumliche Beziehungen oder das Lesen kleiner oder gedrehter Texte erfordern. Wie andere multimodale Systeme können VLMs Objekte oder Details halluzinieren, die im Bild nicht vorhanden sind, ein Fehlermodus, der unter „Objekt-Halluzination“ untersucht wird, und ihr Verhalten kann durch adversarial oder irreführende visuelle Eingaben manipuliert werden, einschließlich Text, der in ein Bild eingebettet ist und den das Modell als Anweisung behandelt, eine visuelle Form von Prompt injection.
Bekannte Beispiele
Weit verbreitete VLMs und VLM-fähige Systeme umfassen CLIP als grundlegenden Encoder, LLaVA und seine Nachfolger in der offenen Forschungsgemeinschaft sowie multimodale Veröffentlichungen großer Labore wie Claude, Gemini und GPT-4/GPT-4o, die alle Bildverständnis in einen allgemeinen Assistenten integrieren, anstatt es als eigenständiges Produkt anzubieten.