Multimodale KI beschreibt maschinelle Lernsysteme, insbesondere moderne Foundation-Modelle, die mehr als eine Art von Daten - wie Text, Bilder, Audio und Video - innerhalb eines einzigen Modells akzeptieren, verarbeiten und oft auch erzeugen können, anstatt separate spezialisierte Systeme zusammenzufügen. Der Begriff steht im Gegensatz zu früheren unimodalen Systemen, wie einem reinen Text-Large-Language-Modell oder einem bildbasierten Convolutional-Neural-Network-Klassifikator, die nur einen einzigen Eingabe- und Ausgabetyp verarbeiten.
Geschichte
Multimodale Forschung geht der aktuellen Modellgeneration voraus; frühe Arbeiten kombinierten Computer-Vision und Natural-Language-Processing für Aufgaben wie Bildunterschriften und visuelle Fragenbeantwortung, wobei separate Encoder durch kleinere verbindende Netzwerke überbrückt wurden. Ein großer Schritt gelang mit OpenAIs CLIP (2021), das durch kontrastives Vortraining einen gemeinsamen Einbettungsraum für Bilder und Texte lernte und es Modellen ermöglichte, visuelle und sprachliche Konzepte ohne aufgabenspezifische Labels zu verknüpfen. CLIP-artige Einbettungen wurden grundlegend für spätere Text-zu-Bild-Systeme, einschließlich der Steuerung diffusionsbasierter Generierung.
Der Wandel zu vereinheitlichten Modellen
Im Laufe der Jahre 2023 und 2024 bewegten sich führende Labore davon weg, einen Vision-Encoder an ein Textmodell anzubinden, hin zum Training wirklich vereinheitlichter Transformer-basierter Architekturen auf verschränkten Text-, Bild-, Audio- und manchmal Videodaten von Anfang an. Googles Gemini, als nativ multimodal beschrieben, und OpenAIs GPT-4o veranschaulichten diesen Wandel, indem sie Modalitäten innerhalb eines einzigen Modells verarbeiteten und erzeugten, anstatt zwischen separaten Untermodellen zu vermitteln. Dies ermöglichte Fähigkeiten wie Echtzeit-Sprachkonversation mit visuellem Verständnis und die Beantwortung von Fragen, die gemeinsames Denken über ein Bild und begleitenden Text erfordern.
Architektur
Multimodale Modelle tokenisieren oder betten typischerweise jede Modalität in einen gemeinsamen Darstellungsraum ein, den ein Transformer-Backbone einheitlich verarbeiten kann, wobei manchmal modalitätsspezifische Encoder für Bilder oder Audio verwendet werden, deren Ausgaben in dieselbe Einbettungsdimension wie Text-Token projiziert werden. Die Ausgabe kann ebenso multimodal sein: Ein Modell könnte Text erzeugen oder die Generierung an einen diffusionsbasierten Bilddecoder übergeben, wie bei Systemen wie Googles Nano Banana-Bildeditor. Der zentrale Aufmerksamkeitsmechanismus ermöglicht es dem Modell, Token über Modalitäten hinweg zu verknüpfen, etwa eine Textbeschreibung in bestimmten Bildregionen zu verankern.
Anwendungen
Multimodale KI ermöglicht Dokumentverständnis, das OCR-artiges Lesen eingebetteter Texte mit Layout- und Bildverständnis kombiniert, Barrierefreiheitswerkzeuge, die Bilder laut beschreiben, Video-Fragenbeantwortung, Robotiksysteme, die visuelle Wahrnehmung mit Sprachbefehlen verbinden, sowie Verbraucherassistenten, die ein Foto, einen Screenshot oder einen Live-Kamerafeed interpretieren können. Vision-Language-Modelle sind eine wichtige Unterkategorie, die sich speziell auf gemeinsames Bild-Text-Verständnis konzentriert, während multimodale KI der breitere Überbegriff ist, der auch Audio und Video umfasst.
Bewertung und Grenzen
Benchmarks für multimodale Systeme testen modalitätsübergreifendes Denken, etwa das Beantworten von Fragen zu Diagrammen, Schaubildern oder Videosequenzen, und die Leistung bleibt hinter menschlichen Fähigkeiten bei Aufgaben zurück, die präzises räumliches Denken, Zählen oder das Lesen dichter kleiner Texte in Bildern erfordern. Modelle können auch halluzinieren und Details erfinden, die nicht im Bild vorhanden sind, und die Kombination von Modalitäten vergrößert die Angriffsfläche für Prompt-Injection-Angriffe, da bösartige Anweisungen in einem Bild oder Audioclip versteckt werden können, statt nur im Text.