L'apprentissage multimodal est un type d'apprentissage profond qui intègre et traite plusieurs types de données, appelés modalités, tels que le texte, l'audio, les images ou la vidéo. Cette intégration permet une compréhension plus holistique de données complexes, améliorant les performances du modèle dans des tâches comme la réponse à des questions visuelles, la récupération inter-modale, la génération texte-image, le classement esthétique et le sous-titrage d'images. L'apprentissage multimodal a été proposé en 2011 au début de la période de l'apprentissage profond. Les grands modèles multimodaux, tels que Google Gemini et GPT-4o, sont devenus de plus en plus populaires depuis 2023, offrant une polyvalence accrue et une compréhension plus large des phénomènes du monde réel.
Motivation
Les données sont généralement accompagnées de différentes modalités qui portent des informations différentes. Par exemple, il est très courant de sous-titrer une image pour transmettre les informations qui ne sont pas présentées dans l'image elle-même. De même, il est parfois plus simple d'utiliser une image pour décrire des informations qui peuvent ne pas être évidentes à partir du texte. Par conséquent, si différents mots apparaissent dans des images similaires, ces mots décrivent probablement la même chose. Inversement, si un mot est utilisé pour décrire des images apparemment dissemblables, ces images peuvent représenter le même objet. Ainsi, dans les cas impliquant des données multimodales, il est important d'utiliser un modèle capable de représenter conjointement les informations afin que le modèle puisse capturer les informations combinées provenant de différentes modalités.
Transformateurs multimodaux
Les systèmes multimodaux modernes s'appuient souvent sur des architectures de transformateur. Des modèles tels que CLIP (Contrastive Language-Image Pretraining) apprennent des représentations conjointes d'images et de texte en optimisant des objectifs contrastifs, permettant au modèle de faire correspondre les images avec leurs descriptions textuelles correspondantes. Ces approches s'appuient sur les avancées des grands modèles de langage et de l'IA générative, avec des systèmes comme GPT-4o d'OpenAI et Gemini de Google DeepMind démontrant des capacités sur les entrées texte, image et audio. L'intégration des mécanismes d'attention multi-têtes et de attention croisée permet à ces modèles d'aligner efficacement les informations entre les modalités.
Machines de Boltzmann profondes multimodales
Une machine de Boltzmann est un type de réseau neuronal stochastique inventé par Geoffrey Hinton et Terry Sejnowski en 1985. Les machines de Boltzmann peuvent être considérées comme la contrepartie stochastique et générative des réseaux de Hopfield. Elles sont nommées d'après la distribution de Boltzmann en mécanique statistique. Les unités des machines de Boltzmann sont divisées en deux groupes : les unités visibles et les unités cachées. Chaque unité est comme un neurone avec une sortie binaire qui représente si elle est activée ou non. Les machines de Boltzmann générales permettent des connexions entre toutes les unités. Cependant, l'apprentissage est impraticable avec les machines de Boltzmann générales car le temps de calcul est exponentiel par rapport à la taille de la machine. Une architecture plus efficace est appelée machine de Boltzmann restreinte, où la connexion n'est autorisée qu'entre l'unité cachée et l'unité visible.
Les machines de Boltzmann profondes multimodales peuvent traiter et apprendre à partir de différents types d'informations, tels que les images et le texte, simultanément. Cela peut notamment être fait en ayant une machine de Boltzmann profonde séparée pour chaque modalité, par exemple une pour les images et une pour le texte, reliées à une couche cachée supérieure supplémentaire. Ces modèles ont été parmi les premières approches de l'apprentissage multimodal et restent pertinents pour certaines tâches de classification et de données manquantes.
Applications
L'apprentissage automatique multimodal a de nombreuses applications dans divers domaines :
- Récupération inter-modale : La récupération inter-modale permet aux utilisateurs de rechercher des données à travers différentes modalités (par exemple, récupérer des images en fonction de descriptions textuelles), améliorant les moteurs de recherche multimédia et les systèmes de recommandation de contenu.
- Classification et récupération de données manquantes : Les machines de Boltzmann profondes multimodales surpassent les modèles traditionnels comme les machines à vecteurs de support et l'allocation de Dirichlet latente dans les tâches de classification et peuvent prédire les données manquantes dans les ensembles de données multimodaux, tels que les images et le texte.
- Diagnostics de santé : Les modèles multimodaux intègrent l'imagerie médicale, les données génomiques et les dossiers des patients pour améliorer la précision des diagnostics et la détection précoce des maladies, en particulier dans le dépistage du cancer.
- Génération de contenu : Des modèles comme DALL-E génèrent des images à partir de descriptions textuelles, bénéficiant aux industries créatives, tandis que la récupération inter-modale permet des recherches multimédia dynamiques.
- Robotique et interaction homme-machine : L'apprentissage multimodal améliore l'interaction en robotique et en IA en intégrant les entrées sensorielles comme la parole, la vision et le toucher, aidant les systèmes autonomes et l'interaction homme-machine.
- Reconnaissance des émotions : En combinant les données visuelles, audio et textuelles, les systèmes multimodaux améliorent l'analyse des sentiments et la reconnaissance des émotions, appliquées au service client, aux médias sociaux et au marketing.
- Recherche de code : Les représentations multimodales combinant la structure du code source (par exemple, les arbres de syntaxe abstraite) avec des descriptions en langage naturel améliorent la récupération d'extraits de code pertinents pour une requête donnée. Le code source a également été rendu comme une image pixel en deux dimensions, par exemple en convertissant le graphe de flux de contrôle d'une méthode en une image noir et blanc traitée avec un réseau neuronal convolutif pour rechercher des logiciels malveillants.
Défis
L'apprentissage multimodal est difficile car différentes modalités peuvent représenter et structurer les informations de différentes manières. Deux défis courants sont l'alignement, qui consiste à déterminer quelles parties des différentes modalités correspondent entre elles, et la fusion, qui consiste à déterminer comment les informations provenant des différentes modalités doivent être combinées. Les applications réelles de l'apprentissage multimodal sont confrontées à d'autres défis spécifiques à l'IA multimodale, notamment les modalités manquantes lorsqu'une source de données est indisponible, la sélection de modalités qui fournissent des informations complémentaires plutôt que redondantes, et les risques de confidentialité liés à la combinaison de sources de données, ce qui peut permettre de ré-identifier des individus même s'ils sont anonymes dans chaque source séparément.
Orientations futures
La recherche continue de relever ces défis grâce à des techniques comme l'augmentation de données et des méthodes de fusion plus sophistiquées. Le développement de matériel efficace par des entreprises comme NVIDIA, AMD et Intel soutient les demandes computationnelles des grands modèles multimodaux. En 2025, l'apprentissage multimodal reste un domaine de recherche actif avec des applications qui s'étendent à travers les industries, d'Apple et Samsung Electronics dans les appareils grand public aux fournisseurs de cloud comme Amazon Web Services, Azure et Google Cloud offrant des services d'IA multimodale.