Un espacio latente es un espacio comprimido y de menor dimensionalidad que una red neuronal aprende internamente para representar la estructura de sus datos de entrenamiento. En lugar de almacenar píxeles crudos, palabras o muestras de audio, los modelos que utilizan un espacio latente mapean las entradas a un conjunto de coordenadas numéricas abstractas, o vectores, elegidas de modo que las entradas con significado o apariencia similar terminen posicionadas cerca unas de otras. La idea se utiliza en todo el aprendizaje profundo, desde autoencoders y redes generativas antagónicas hasta modelos de difusión modernos y sistemas de búsqueda basados en incrustaciones.
Orígenes
La idea se remonta a métodos anteriores de reducción de dimensionalidad en estadística, pero entró en la corriente principal del aprendizaje automático a través del autoencoder, una red neuronal entrenada para comprimir una entrada en una capa de cuello de botella y luego reconstruirla. Los valores de la capa de cuello de botella son la representación latente. Los autoencoders variacionales, introducidos en 2013, extendieron esto al forzar que el espacio latente siguiera una distribución de probabilidad suave, lo que hizo posible muestrear nuevas salidas plausibles eligiendo puntos aleatorios en ese espacio. Una línea de trabajo paralela, Word2vec (2013), mostró que un espacio latente entrenado con texto podía capturar relaciones analógicas entre palabras, popularizando la idea de que la dirección y la distancia en un espacio latente tienen significado.
Papel en los modelos generativos
El espacio latente se volvió central para la generación de imágenes con redes generativas antagónicas, cuyo generador aprende a mapear vectores latentes aleatorios en imágenes realistas. Se volvió aún más importante con la difusión latente, la técnica detrás de Stable Diffusion y sistemas relacionados: en lugar de ejecutar el lento proceso de eliminación de ruido directamente sobre los píxeles, el modelo comprime una imagen en una pequeña cuadrícula latente con un autoencoder, realiza los pasos del modelo de difusión allí y decodifica de vuelta a píxeles solo al final. Esto hizo que la generación de texto a imagen de alta resolución fuera drásticamente más barata de ejecutar. Los sistemas multimodales como CLIP aprenden un espacio latente compartido para imágenes y texto, de modo que un pie de foto y su imagen correspondiente se ubiquen cerca uno del otro, lo que permite que un modelo de difusión sea guiado por un prompt de texto en primer lugar.
Interpolación, aritmética y búsqueda
Debido a que los puntos cercanos en un espacio latente bien formado tienden a ser semánticamente similares, los profesionales pueden interpolar suavemente entre dos puntos para transformar una salida en otra, o realizar aritmética de vectores, un ejemplo temprano famoso siendo "rey menos hombre más mujer igual a reina" en incrustaciones de palabras. Esta misma propiedad subyace a la búsqueda semántica: los documentos y las consultas se incrustan en un espacio latente compartido, y una base de datos vectorial encuentra vectores cercanos en lugar de coincidir con palabras clave exactas. En los modelos de imagen, editar un vector latente a lo largo de una dirección descubierta puede cambiar un atributo de la salida, como la iluminación o la pose, sin reentrenar el modelo.
Limitaciones
Los espacios latentes se aprenden, no se diseñan, por lo que su estructura no está garantizada a ser interpretable u organizada de manera uniforme; las regiones pueden estar enredadas, lo que significa que una sola dimensión afecta varios atributos visibles a la vez. El trabajo en interpretabilidad ha intentado hacer las representaciones latentes más transparentes, con éxito mixto, y la geometría de un espacio latente puede cambiar sustancialmente entre versiones de modelos, complicando los intentos de reutilizar direcciones aprendidas entre modelos.