La IA multimodal describe sistemas de aprendizaje automático, en particular los modelos fundacionales modernos, que pueden aceptar, procesar y, a menudo, generar más de un tipo de dato, como texto, imágenes, audio y video, dentro de un único modelo en lugar de combinar sistemas especializados separados. El término contrasta con los sistemas unimodales anteriores, como un modelo de lenguaje grande solo de texto o un clasificador de red neuronal convolucional solo de imágenes, que manejan un único tipo de entrada y salida.
Historia
La investigación multimodal precede a la generación actual de modelos; los primeros trabajos combinaban visión por computadora y procesamiento de lenguaje natural para tareas como el subtitulado de imágenes y la respuesta a preguntas visuales, utilizando codificadores separados conectados por redes más pequeñas. Un paso importante llegó con CLIP de OpenAI (2021), que aprendió un espacio de incrustación compartido para imágenes y texto mediante un preentrenamiento contrastivo, permitiendo que los modelos relacionaran conceptos visuales y lingüísticos sin etiquetas específicas de tarea. Las incrustaciones estilo CLIP se volvieron fundamentales para los sistemas posteriores de texto a imagen, incluida la guía de la generación basada en difusión.
El cambio hacia modelos unificados
A lo largo de 2023 y 2024, los principales laboratorios pasaron de acoplar un codificador de visión a un modelo de texto a entrenar arquitecturas genuinamente unificadas basadas en transformadores con datos intercalados de texto, imagen, audio y, a veces, video desde el inicio. Gemini de Google, descrito como nativamente multimodal, y GPT-4o de OpenAI ejemplificaron este cambio, procesando y generando a través de modalidades dentro de un único modelo en lugar de enrutar entre submódulos separados. Esto permitió capacidades como conversación de voz en tiempo real con comprensión visual y responder preguntas que requieren razonamiento conjunto sobre una imagen y su texto acompañante.
Arquitectura
Los modelos multimodales típicamente tokenizan o incrustan cada modalidad en un espacio de representación compartido que un backbone de transformador puede procesar de manera uniforme, a veces usando codificadores específicos de modalidad para imágenes o audio cuyas salidas se proyectan en la misma dimensión de incrustación que los tokens de texto. La salida puede ser igualmente multimodal: un modelo puede generar texto o delegar la generación a un decodificador de imágenes basado en difusión, como con sistemas como el editor de imágenes Nano Banana de Google. El mecanismo de atención central permite que el modelo relacione tokens a través de modalidades, por ejemplo, anclando una descripción de texto en regiones específicas de la imagen.
Aplicaciones
La IA multimodal permite la comprensión de documentos que combina la lectura tipo OCR de texto incrustado con la comprensión de diseño e imágenes, herramientas de accesibilidad que describen imágenes en voz alta, respuesta a preguntas sobre video, sistemas robóticos que combinan percepción visual con instrucciones de lenguaje y asistentes de consumo capaces de interpretar una foto, captura de pantalla o transmisión de cámara en vivo. Los modelos de visión y lenguaje son una subcategoría importante centrada específicamente en la comprensión conjunta de imagen y texto, mientras que la IA multimodal es el paraguas más amplio que también incluye audio y video.
Evaluación y limitaciones
Los puntos de referencia para sistemas multimodales prueban el razonamiento entre modalidades, como responder preguntas sobre gráficos, diagramas o secuencias de video, y el rendimiento aún está por detrás de la capacidad humana en tareas que requieren razonamiento espacial preciso, conteo o lectura de texto pequeño y denso en imágenes. Los modelos también pueden alucinar detalles que no están presentes en una imagen, y la combinación de modalidades aumenta la superficie para ataques de inyección de instrucciones, ya que instrucciones maliciosas pueden ocultarse dentro de una imagen o clip de audio en lugar de solo en texto.