El aprendizaje multimodal es un tipo de aprendizaje profundo que integra y procesa múltiples tipos de datos, denominados modalidades, como texto, audio, imágenes o video. Esta integración permite una comprensión más holística de datos complejos, mejorando el rendimiento del modelo en tareas como la respuesta a preguntas visuales, la recuperación entre modalidades, la generación de imágenes a partir de texto, la clasificación estética y el subtitulado de imágenes. El aprendizaje multimodal fue propuesto en 2011, al comienzo de la era del aprendizaje profundo. Los grandes modelos multimodales, como Google Gemini y GPT-4o, han ganado popularidad desde 2023, permitiendo una mayor versatilidad y una comprensión más amplia de los fenómenos del mundo real.
Motivación
Los datos suelen presentarse en diferentes modalidades que contienen información distinta. Por ejemplo, es muy común subtitular una imagen para transmitir la información que no se presenta en la propia imagen. De manera similar, a veces es más directo usar una imagen para describir información que puede no ser evidente a partir del texto. Como resultado, si diferentes palabras aparecen en imágenes similares, es probable que estas palabras describan lo mismo. Por el contrario, si una palabra se usa para describir imágenes aparentemente diferentes, entonces estas imágenes pueden representar el mismo objeto. Por lo tanto, en casos que tratan con datos multimodales, es importante usar un modelo que pueda representar conjuntamente la información para que el modelo pueda capturar la información combinada de diferentes modalidades.
Transformadores multimodales
Los sistemas multimodales modernos a menudo se basan en arquitecturas de transformador. Modelos como CLIP (Contrastive Language-Image Pretraining) aprenden representaciones conjuntas de imágenes y texto optimizando objetivos contrastivos, lo que permite al modelo emparejar imágenes con sus descripciones textuales correspondientes. Estos enfoques se basan en avances en grandes modelos de lenguaje y IA generativa, con sistemas como GPT-4o de OpenAI y Gemini de Google DeepMind que demuestran capacidades en entradas de texto, imagen y audio. La integración de mecanismos de atención de múltiples cabezas y atención cruzada permite a estos modelos alinear información entre modalidades de manera efectiva.
Máquinas de Boltzmann profundas multimodales
Una máquina de Boltzmann es un tipo de red neuronal estocástica inventada por Geoffrey Hinton y Terry Sejnowski en 1985. Las máquinas de Boltzmann pueden considerarse como la contraparte estocástica y generativa de las redes de Hopfield. Llevan el nombre de la distribución de Boltzmann en mecánica estadística. Las unidades en las máquinas de Boltzmann se dividen en dos grupos: unidades visibles y unidades ocultas. Cada unidad es como una neurona con una salida binaria que representa si está activada o no. Las máquinas de Boltzmann generales permiten conexiones entre cualquier unidad. Sin embargo, el aprendizaje es impracticable con máquinas de Boltzmann generales porque el tiempo computacional es exponencial al tamaño de la máquina. Una arquitectura más eficiente se llama máquina de Boltzmann restringida, donde la conexión solo se permite entre unidades ocultas y unidades visibles.
Las máquinas de Boltzmann profundas multimodales pueden procesar y aprender de diferentes tipos de información, como imágenes y texto, simultáneamente. Esto se puede hacer notablemente teniendo una máquina de Boltzmann profunda separada para cada modalidad, por ejemplo una para imágenes y otra para texto, unidas en una capa oculta superior adicional. Estos modelos estuvieron entre los primeros enfoques del aprendizaje multimodal y siguen siendo relevantes para ciertas tareas de clasificación y datos faltantes.
Aplicaciones
El aprendizaje automático multimodal tiene numerosas aplicaciones en diversos dominios:
- Recuperación entre modalidades: La recuperación entre modalidades permite a los usuarios buscar datos a través de diferentes modalidades (por ejemplo, recuperar imágenes basadas en descripciones de texto), mejorando los motores de búsqueda multimedia y los sistemas de recomendación de contenido.
- Clasificación y recuperación de datos faltantes: Las máquinas de Boltzmann profundas multimodales superan a los modelos tradicionales como las máquinas de vectores de soporte y la asignación latente de Dirichlet en tareas de clasificación y pueden predecir datos faltantes en conjuntos de datos multimodales, como imágenes y texto.
- Diagnóstico en salud: Los modelos multimodales integran imágenes médicas, datos genómicos y registros de pacientes para mejorar la precisión diagnóstica y la detección temprana de enfermedades, especialmente en la detección de cáncer.
- Generación de contenido: Modelos como DALL-E generan imágenes a partir de descripciones textuales, beneficiando a las industrias creativas, mientras que la recuperación entre modalidades permite búsquedas multimedia dinámicas.
- Robótica e interacción humano-computadora: El aprendizaje multimodal mejora la interacción en robótica e IA al integrar entradas sensoriales como habla, visión y tacto, ayudando a los sistemas autónomos y a la interacción humano-computadora.
- Reconocimiento de emociones: Combinando datos visuales, de audio y de texto, los sistemas multimodales mejoran el análisis de sentimientos y el reconocimiento de emociones, aplicados en servicio al cliente, redes sociales y marketing.
- Búsqueda de código: Las representaciones multimodales que combinan la estructura del código fuente (por ejemplo, árboles de sintaxis abstracta) con descripciones en lenguaje natural mejoran la recuperación de fragmentos de código relevantes para una consulta dada. El código fuente también se ha representado como una imagen de píxeles bidimensional, por ejemplo convirtiendo el gráfico de flujo de control de un método en una imagen en blanco y negro procesada con una red neuronal convolucional para buscar malware.
Desafíos
El aprendizaje multimodal es desafiante porque diferentes modalidades pueden representar y estructurar la información de maneras distintas. Dos desafíos comunes son la alineación, que determina qué partes de diferentes modalidades se corresponden entre sí, y la fusión, que determina cómo se debe combinar la información entre modalidades. Las aplicaciones del mundo real del aprendizaje multimodal enfrentan desafíos adicionales específicos de la IA multimodal, incluyendo modalidades faltantes cuando una fuente de datos no está disponible, la selección de modalidades que proporcionen información complementaria en lugar de redundante, y los riesgos de privacidad derivados de combinar fuentes de datos, lo que puede permitir que los individuos sean reidentificados incluso si son anónimos en cada fuente por separado.
Direcciones futuras
La investigación continúa abordando estos desafíos mediante técnicas como aumento de datos y métodos de fusión más sofisticados. El desarrollo de hardware eficiente por parte de empresas como NVIDIA, AMD e Intel respalda las demandas computacionales de los grandes modelos multimodales. A partir de 2025, el aprendizaje multimodal sigue siendo un área activa de investigación con aplicaciones que se expanden en todas las industrias, desde Apple y Samsung Electronics en dispositivos de consumo hasta proveedores de nube como Amazon Web Services, Azure y Google Cloud que ofrecen servicios de IA multimodal.