Un autoencoder variacional (VAE) es una arquitectura de red neuronal artificial introducida por Diederik P. Kingma y Max Welling en 2013. Pertenece a las familias de los modelos gráficos probabilísticos y los métodos bayesianos variacionales. Los VAE son modelos generativos que aprenden a representar datos en un espacio latente comprimido y a generar nuevas muestras a partir de ese espacio. A diferencia de los autoencoders estándar, que mapean las entradas a puntos fijos en un espacio latente, los VAE mapean las entradas a una distribución de probabilidad, típicamente una gaussiana multivariante, lo que ayuda a evitar el sobreajuste y permite una interpolación y generación suaves.
La arquitectura consta de dos redes neuronales: un codificador y un decodificador. El codificador mapea cada punto de datos de entrada (por ejemplo, una imagen) a los parámetros de una distribución variacional en el espacio latente, como un vector de media y varianza. El decodificador mapea desde el espacio latente de vuelta al espacio de entrada, produciendo reconstrucciones o nuevas muestras. Ambas redes se entrenan conjuntamente utilizando el truco de la reparametrización, que permite la retropropagación a través del muestreo estocástico. Los VAE fueron diseñados inicialmente para el aprendizaje no supervisado, pero también han demostrado ser eficaces para tareas de aprendizaje semisupervisado y supervisado.
Descripción general de la arquitectura y el funcionamiento
Un autoencoder variacional es un modelo generativo con una distribución previa sobre las variables latentes y una distribución de ruido para los datos. Los modelos generativos tradicionales, como el PCA probabilístico o la codificación dispersa, se entrenan utilizando el meta-algoritmo de maximización de expectativas (EM). EM optimiza un límite inferior sobre la verosimilitud de los datos, que a menudo es computacionalmente intratable, y requiere descubrir distribuciones q (posteriores variacionales) para cada punto de datos en un proceso de optimización separado. En contraste, los VAE utilizan una red neuronal como un enfoque amortizado para optimizar conjuntamente a través de todos los puntos de datos. Esto significa que los mismos parámetros de red se reutilizan para múltiples puntos de datos, lo que resulta en ahorros significativos de memoria.
La red codificadora toma puntos de datos de entrada y produce parámetros para la distribución variacional. Dado que mapea desde un espacio de entrada conocido a un espacio latente de baja dimensión, se denomina codificador. El decodificador es la segunda red neuronal; mapea desde el espacio latente al espacio de entrada, típicamente produciendo las medias de la distribución de ruido. Aunque es posible utilizar otra red para producir la varianza, esto a menudo se omite por simplicidad, y la varianza puede optimizarse mediante el descenso de gradiente.
Para optimizar el modelo, se necesitan dos términos: el error de reconstrucción y la divergencia de Kullback-Leibler (KL). Ambos términos se derivan de la expresión de energía libre del modelo probabilístico, y difieren dependiendo de la distribución de ruido y del previo asumido de los datos (distribución p). Por ejemplo, una tarea estándar de VAE como ImageNet típicamente asume ruido gaussiano, mientras que tareas como MNIST binarizado requieren ruido de Bernoulli. El término KL maximiza la masa de probabilidad de la distribución q que se superpone con la distribución p, lo que puede conducir a un comportamiento de búsqueda de modos. El término de reconstrucción es el resto de la expresión de energía libre y requiere una aproximación de muestreo para calcular su valor esperado. Enfoques más recientes reemplazan la KL con diversas distancias estadísticas, como se discute en la sección sobre variantes de VAE con distancia estadística.
Formulación
Desde una perspectiva de modelado probabilístico, el objetivo es maximizar la verosimilitud de los datos x bajo una distribución de probabilidad parametrizada elegida p_θ(x) = p(x|θ). Esta distribución a menudo se elige como una gaussiana N(x|μ, σ), parametrizada por la media μ y la varianza σ, que es fácil de trabajar como miembro de la familia exponencial. Las distribuciones simples son sencillas de maximizar, pero cuando se asume un previo sobre las variables latentes z, las integrales resultantes se vuelven intratables. Para encontrar p_θ(x), se marginaliza sobre z:
p_θ(x) = ∫ p_θ(x, z) dz,
donde p_θ(x, z) es la distribución conjunta de los datos observables x y la codificación latente z bajo p_θ. Usando la regla de la cadena, esto puede reescribirse como:
p_θ(x) = ∫ p_θ(x|z) p_θ(z) dz.
Esta integral es generalmente intratable porque el espacio latente es de alta dimensión y la verosimilitud p_θ(x|z) puede ser compleja. La inferencia variacional aproxima el posterior verdadero p_θ(z|x) con una distribución más simple q_φ(z|x), parametrizada por la red codificadora. El límite inferior de la evidencia (ELBO) se deriva para optimizar el modelo:
log p_θ(x) ≥ E_{q_φ(z|x)}[log p_θ(x|z)] - KL(q_φ(z|x) || p_θ(z)).
El primer término es la verosimilitud de reconstrucción, y el segundo término es la divergencia KL entre el posterior aproximado y el previo. El truco de la reparametrización permite muestrear de q_φ(z|x) expresando z como μ + σ * ε, donde ε se extrae de una distribución normal estándar, lo que permite la optimización basada en gradientes.
Redes codificadora y decodificadora
La red codificadora, a menudo denotada como q_φ(z|x), toma una entrada x y produce los parámetros de una distribución variacional, típicamente la media μ y la log-varianza log σ² de una gaussiana. Esta distribución representa la codificación latente de la entrada. La red decodificadora, denotada como p_θ(x|z), toma una muestra latente z y produce parámetros para la distribución de los datos, como la media de una gaussiana para datos continuos o las probabilidades para datos de Bernoulli.
Ambas redes se entrenan típicamente juntas utilizando el truco de la reparametrización. El codificador y el decodificador se implementan generalmente como perceptrones multicapa (MLP) o redes neuronales convolucionales (CNN), dependiendo del tipo de datos. Para datos de imagen, las CNN son comunes, como se ve en modelos como el VAE convolucional. La elección de la arquitectura de red afecta la capacidad y el rendimiento del modelo.
Entrenamiento y el truco de la reparametrización
Entrenar un VAE implica maximizar el ELBO, que es la suma del término de reconstrucción y el término de divergencia KL. El término de reconstrucción anima al decodificador a reconstruir con precisión la entrada a partir de la muestra latente, mientras que el término de divergencia KL anima al posterior aproximado a estar cerca del previo, típicamente una distribución normal estándar N(0, I). Este equilibrio previene el sobreajuste y asegura un espacio latente suave.
El truco de la reparametrización es crucial para el entrenamiento porque permite que los gradientes fluyan a través del proceso de muestreo estocástico. En lugar de muestrear z directamente de q_φ(z|x), que no es diferenciable, el codificador produce μ y σ, y z se calcula como z = μ + σ * ε, donde ε ~ N(0, I). Esto hace que la operación de muestreo sea diferenciable con respecto a los parámetros, permitiendo la retropropagación estándar.
Durante el entrenamiento, la varianza del modelo de ruido puede aprenderse por separado o fijarse. En algunas implementaciones, el decodificador produce tanto la media como la varianza, mientras que en otras, la varianza es un hiperparámetro o se optimiza por separado. El proceso de entrenamiento típicamente utiliza el descenso de gradiente estocástico (SGD) o variantes como Adam, con programas de tasa de aprendizaje.
Función de pérdida y divergencia KL
La función de pérdida para un VAE es el ELBO negativo, que consta de dos términos: la pérdida de reconstrucción y la divergencia KL. La pérdida de reconstrucción mide qué tan bien el decodificador reconstruye la entrada a partir de la muestra latente. Para datos continuos con ruido gaussiano, esto a menudo es el error cuadrático medio (MSE) entre la entrada y la salida reconstruida. Para datos binarios, es la entropía cruzada binaria.
El término de divergencia KL se calcula entre el posterior aproximado q_φ(z|x) y el previo p(z). Para distribuciones gaussianas, esto tiene una expresión de forma cerrada:
KL(q_φ(z|x) || p(z)) = -0.5 * (1 + log σ² - μ² - σ²),
asumiendo que el previo es N(0, I). Este término penaliza la distribución latente por desviarse del previo, fomentando un espacio latente compacto y continuo.
La divergencia KL puede conducir a un comportamiento de búsqueda de modos, donde el modelo se centra en unos pocos modos de la distribución de datos. Para abordar esto, se han propuesto varias alternativas, como el uso de diferentes distancias estadísticas como la distancia de Wasserstein o la discrepancia máxima media (MMD).
Variantes y extensiones
Desde la introducción de los VAE, se han desarrollado numerosas variantes para mejorar su rendimiento y abordar limitaciones. Algunas variantes notables incluyen:
- β-VAE: Introduce un factor de ponderación β en el término de divergencia KL para fomentar representaciones más desenredadas. Esto se utiliza a menudo en el aprendizaje no supervisado de factores interpretables.
- VAE condicional (CVAE): Condiciona tanto el codificador como el decodificador a información adicional, como etiquetas de clase, permitiendo la generación controlada.
- VQ-VAE: Utiliza cuantización vectorial en el espacio latente, produciendo códigos latentes discretos, que son útiles para tareas como la generación de imágenes y el aprendizaje de representaciones.
- Variantes de VAE con distancia estadística: Reemplazan la divergencia KL con otras distancias estadísticas, como la distancia de Wasserstein, para mejorar la estabilidad del entrenamiento y la calidad de las muestras.
Estas variantes se han aplicado en diversos dominios, incluyendo la generación de imágenes, la generación de texto y la detección de anomalías.
Aplicaciones e importancia
Los autoencoders variacionales tienen una amplia gama de aplicaciones en el aprendizaje automático y la inteligencia artificial. Se utilizan para el modelado generativo, donde pueden producir nuevas muestras de datos similares a los datos de entrenamiento, como imágenes, audio y texto. Los VAE también se utilizan para el aprendizaje de representaciones, donde el espacio latente captura características significativas de los datos, permitiendo tareas como la agrupación y la reducción de dimensionalidad.
En el aprendizaje semisupervisado, los VAE pueden aprovechar datos no etiquetados para aprender representaciones útiles, mejorando el rendimiento en tareas con datos etiquetados limitados. En el aprendizaje supervisado, los VAE pueden utilizarse como extractores de características o para el aumento de datos. Los VAE también se han aplicado en la detección de anomalías, donde el error de reconstrucción o la verosimilitud de un punto de datos indica si es normal o anómalo.
La importancia de los VAE radica en su capacidad para aprender representaciones latentes probabilísticas de manera no supervisada, proporcionando un marco fundamentado para el modelado generativo. Han influido en muchos desarrollos posteriores en el aprendizaje profundo, incluido el campo más amplio de la IA generativa, y continúan siendo un área activa de investigación.
Relación con otros modelos generativos
Los VAE son una de las varias familias prominentes de modelos generativos, junto con las redes generativas adversariales (GAN) y los modelos de difusión. Mientras que las GAN se centran en generar muestras realistas a través de un proceso de entrenamiento adversarial, los VAE enfatizan la inferencia probabilística y un espacio latente suave. Los modelos de difusión, que han ganado popularidad recientemente, generan datos invirtiendo un proceso de ruido. Cada enfoque tiene sus fortalezas y debilidades; los VAE ofrecen un entrenamiento estable y un espacio latente bien definido, pero pueden producir muestras más borrosas en comparación con las GAN. La elección del modelo depende de la aplicación específica y los requisitos.
En el contexto del aprendizaje profundo, los VAE se utilizan a menudo como bloques de construcción en arquitecturas más grandes, como en transformadores basados en autoencoders variacionales o como componentes en modelos multimodales. También son relevantes para el desarrollo de grandes modelos de lenguaje, aunque estos típicamente dependen de arquitecturas autorregresivas o de transformadores en lugar de VAE.
Véase también
- autoencoder
- IA generativa
- aprendizaje profundo
- modelos gráficos probabilísticos
- métodos bayesianos variacionales