Multimodales Lernen ist eine Form des Deep Learning, die mehrere Datentypen, sogenannte Modalitäten, wie Text, Audio, Bilder oder Video, integriert und verarbeitet. Diese Integration ermöglicht ein ganzheitlicheres Verständnis komplexer Daten und verbessert die Modellleistung bei Aufgaben wie visueller Beantwortung von Fragen, modalitätsübergreifendem Abruf, Text-zu-Bild-Generierung, ästhetischem Ranking und Bildbeschriftung. Multimodales Lernen wurde 2011 zu Beginn der Deep-Learning-Ära vorgeschlagen. Große multimodale Modelle wie Google Gemini und GPT-4o sind seit 2023 zunehmend populär geworden und ermöglichen eine größere Vielseitigkeit und ein breiteres Verständnis realer Phänomene.
Motivation
Daten liegen in der Regel in verschiedenen Modalitäten vor, die unterschiedliche Informationen tragen. Beispielsweise ist es üblich, ein Bild mit einer Bildunterschrift zu versehen, um Informationen zu vermitteln, die im Bild selbst nicht enthalten sind. Ebenso ist es manchmal einfacher, ein Bild zu verwenden, um Informationen zu beschreiben, die aus Text nicht offensichtlich hervorgehen. Wenn also verschiedene Wörter in ähnlichen Bildern vorkommen, beschreiben diese Wörter wahrscheinlich dasselbe. Umgekehrt können diese Bilder dasselbe Objekt darstellen, wenn ein Wort zur Beschreibung scheinbar unähnlicher Bilder verwendet wird. Daher ist es in Fällen mit multimodalen Daten wichtig, ein Modell zu verwenden, das in der Lage ist, die Informationen gemeinsam darzustellen, sodass das Modell die kombinierten Informationen aus verschiedenen Modalitäten erfassen kann.
Multimodale Transformatoren
Moderne multimodale Systeme stützen sich häufig auf Transformer-Architekturen. Modelle wie CLIP (Contrastive Language-Image Pretraining) lernen gemeinsame Darstellungen von Bildern und Text, indem sie kontrastive Ziele optimieren, was es dem Modell ermöglicht, Bilder mit ihren entsprechenden Textbeschreibungen abzugleichen. Diese Ansätze bauen auf Fortschritten bei großen Sprachmodellen und generativer KI auf, wobei Systeme wie OpenAI's GPT-4o und Google DeepMind's Gemini Fähigkeiten über Text-, Bild- und Audioeingaben hinweg demonstrieren. Die Integration von Multi-Head-Attention- und Cross-Attention-Mechanismen ermöglicht es diesen Modellen, Informationen über Modalitäten hinweg effektiv auszurichten.
Multimodale Deep Boltzmann Machines
Eine Boltzmann-Maschine ist eine Art stochastisches neuronales Netzwerk, das 1985 von Geoffrey Hinton und Terry Sejnowski erfunden wurde. Boltzmann-Maschinen können als das stochastische, generative Gegenstück zu Hopfield-Netzen angesehen werden. Sie sind nach der Boltzmann-Verteilung in der statistischen Mechanik benannt. Die Einheiten in Boltzmann-Maschinen sind in zwei Gruppen unterteilt: sichtbare Einheiten und verborgene Einheiten. Jede Einheit ist wie ein Neuron mit einem binären Ausgang, der darstellt, ob es aktiviert ist oder nicht. Allgemeine Boltzmann-Maschinen erlauben Verbindungen zwischen beliebigen Einheiten. Das Lernen ist jedoch mit allgemeinen Boltzmann-Maschinen unpraktikabel, da die Rechenzeit exponentiell zur Größe der Maschine ist. Eine effizientere Architektur wird als Restricted Boltzmann Machine bezeichnet, bei der Verbindungen nur zwischen verborgenen und sichtbaren Einheiten erlaubt sind.
Multimodale Deep Boltzmann Machines können verschiedene Arten von Informationen, wie Bilder und Text, gleichzeitig verarbeiten und lernen. Dies kann insbesondere durch eine separate Deep Boltzmann Machine für jede Modalität erfolgen, zum Beispiel eine für Bilder und eine für Text, die an einer zusätzlichen oberen verborgenen Schicht verbunden sind. Diese Modelle gehörten zu den frühesten Ansätzen des multimodalen Lernens und bleiben für bestimmte Klassifikations- und Fehldatenaufgaben relevant.
Anwendungen
Multimodales maschinelles Lernen hat zahlreiche Anwendungen in verschiedenen Bereichen:
- Modalitätsübergreifender Abruf: Der modalitätsübergreifende Abruf ermöglicht es Benutzern, nach Daten über verschiedene Modalitäten hinweg zu suchen (z. B. das Abrufen von Bildern basierend auf Textbeschreibungen), was Multimedia-Suchmaschinen und Empfehlungssysteme für Inhalte verbessert.
- Klassifikation und Abruf fehlender Daten: Multimodale Deep Boltzmann Machines übertreffen traditionelle Modelle wie Support Vector Machines und Latent Dirichlet Allocation bei Klassifikationsaufgaben und können fehlende Daten in multimodalen Datensätzen, wie Bildern und Text, vorhersagen.
- Diagnostik im Gesundheitswesen: Multimodale Modelle integrieren medizinische Bildgebung, Genomdaten und Patientenakten, um die Diagnosegenauigkeit und die Früherkennung von Krankheiten zu verbessern, insbesondere beim Krebs-Screening.
- Inhaltsgenerierung: Modelle wie DALL-E generieren Bilder aus Textbeschreibungen, was der Kreativbranche zugutekommt, während der modalitätsübergreifende Abruf dynamische Multimedia-Suchen ermöglicht.
- Robotik und Mensch-Computer-Interaktion: Multimodales Lernen verbessert die Interaktion in der Robotik und KI durch die Integration sensorischer Eingaben wie Sprache, Vision und Berührung und unterstützt autonome Systeme und die Mensch-Computer-Interaktion.
- Emotionserkennung: Durch die Kombination von visuellen, Audio- und Textdaten verbessern multimodale Systeme die Sentimentanalyse und Emotionserkennung, die im Kundenservice, in sozialen Medien und im Marketing eingesetzt werden.
- Codesuche: Multimodale Darstellungen, die die Struktur des Quellcodes (z. B. abstrakte Syntaxbäume) mit natürlichsprachlichen Beschreibungen kombinieren, verbessern den Abruf relevanter Codeausschnitte für eine bestimmte Abfrage. Quellcode wurde auch als zweidimensionales Pixelbild dargestellt, beispielsweise durch die Umwandlung des Kontrollflussgraphen einer Methode in ein Schwarz-Weiß-Bild, das mit einem Convolutional Neural Network verarbeitet wird, um nach Malware zu suchen.
Herausforderungen
Multimodales Lernen ist eine Herausforderung, da verschiedene Modalitäten Informationen auf unterschiedliche Weise darstellen und strukturieren können. Zwei häufige Herausforderungen sind die Ausrichtung, die bestimmt, welche Teile verschiedener Modalitäten einander entsprechen, und die Fusion, die bestimmt, wie Informationen über Modalitäten hinweg kombiniert werden sollen. Reale Anwendungen des multimodalen Lernens stehen vor weiteren Herausforderungen, die für multimodale KI spezifisch sind, darunter fehlende Modalitäten, wenn eine Datenquelle nicht verfügbar ist, die Auswahl von Modalitäten, die komplementäre und nicht redundante Informationen liefern, sowie Datenschutzrisiken durch die Kombination von Datenquellen, die es ermöglichen können, Personen zu re-identifizieren, selbst wenn sie in jeder Quelle separat anonym sind.
Zukünftige Richtungen
Die Forschung adressiert diese Herausforderungen weiterhin durch Techniken wie Datenaugmentierung und ausgefeiltere Fusionsmethoden. Die Entwicklung effizienter Hardware von Unternehmen wie NVIDIA, AMD und Intel unterstützt die Rechenanforderungen großer multimodaler Modelle. Stand 2025 bleibt multimodales Lernen ein aktives Forschungsgebiet mit Anwendungen, die sich über Branchen erstrecken, von Apple und Samsung Electronics bei Unterhaltungselektronik bis hin zu Cloud-Anbietern wie Amazon Web Services, Azure und Google Cloud, die multimodale KI-Dienste anbieten.