Un autoencoder variacional (VAE) es una arquitectura de red neuronal artificial introducida por Diederik P. Kingma y Max Welling en 2013. Pertenece a las familias de los modelos gráficos probabilísticos y los métodos bayesianos variacionales. Además de ser una arquitectura de autoencoder, un VAE puede estudiarse dentro de la formulación matemática de los métodos bayesianos variacionales, conectando una red codificadora neuronal con su decodificador a través de un espacio latente probabilístico, como una distribución gaussiana multivariante, que corresponde a los parámetros de una distribución variacional.
El codificador mapea cada punto de un conjunto de datos grande y complejo, como una imagen, a una distribución dentro del espacio latente en lugar de a un único punto. El decodificador realiza la función opuesta, mapeando desde el espacio latente al espacio de entrada según una distribución, aunque en la práctica rara vez se añade ruido durante la decodificación. Al mapear un punto a una distribución en lugar de a un único punto, la red puede evitar el sobreajuste de los datos de entrenamiento. Ambas redes se entrenan típicamente juntas mediante el truco de la reparametrización, aunque la varianza del modelo de ruido puede aprenderse por separado. Aunque inicialmente se diseñó para aprendizaje no supervisado, el modelo ha demostrado ser eficaz para el aprendizaje semisupervisado y supervisado.
Arquitectura y funcionamiento
Un VAE es un modelo generativo con una distribución previa y de ruido. Estos modelos suelen entrenarse utilizando el meta-algoritmo de maximización de expectativas, como con el PCA probabilístico o la codificación dispersa. Este esquema optimiza un límite inferior de la verosimilitud de los datos, que suele ser computacionalmente intratable, y requiere descubrir distribuciones q, o posteriores variacionales. Estas distribuciones q normalmente se parametrizan para cada punto de datos individual en un proceso de optimización separado. Sin embargo, los VAE utilizan una red neuronal como enfoque amortizado para optimizar conjuntamente a través de los puntos de datos, reutilizando los mismos parámetros para múltiples puntos y logrando un ahorro masivo de memoria. La primera red neuronal, llamada codificador, toma puntos de datos como entrada y produce parámetros para la distribución variacional, mapeando desde un espacio de entrada conocido al espacio latente de baja dimensión.
El decodificador es la segunda red neuronal, que mapea desde el espacio latente al espacio de entrada, por ejemplo, como las medias de la distribución de ruido. Es posible usar otra red neuronal para mapear la varianza, pero esto puede omitirse por simplicidad; en tal caso, la varianza puede optimizarse con descenso de gradiente.
Para optimizar el modelo, se necesitan dos términos: el error de reconstrucción y la divergencia de Kullback-Leibler (KL-D). Ambos términos derivan de la expresión de energía libre del modelo probabilístico y difieren según la distribución de ruido y la distribución previa asumida de los datos, denominada distribución p. Por ejemplo, una tarea estándar de VAE como IMAGENET suele asumir ruido gaussiano, mientras que tareas como MNIST binarizado requieren ruido de Bernoulli. El término KL-D maximiza la masa de probabilidad de la distribución q que se superpone con la distribución p, lo que puede resultar en un comportamiento de búsqueda de modas. El término de reconstrucción es el resto de la expresión de energía libre y requiere una aproximación por muestreo para calcular su valor esperado. Enfoques más recientes reemplazan la KL-D con diversas distancias estadísticas.
Formulación
Desde la perspectiva del modelado probabilístico, se desea maximizar la verosimilitud de los datos x mediante su distribución de probabilidad parametrizada elegida p_θ(x) = p(x|θ). Esta distribución suele elegirse como una gaussiana N(x|μ, σ), parametrizada por μ y σ, y como miembro de la familia exponencial es fácil de trabajar como distribución de ruido. Las distribuciones simples son fáciles de maximizar, pero las distribuciones con una distribución previa sobre los latentes z resultan en integrales intratables. Para encontrar p_θ(x), se marginaliza sobre z:
p_θ(x) = ∫_z p_θ(x, z) dz,
donde p_θ(x, z) es la distribución conjunta bajo p_θ de los datos observables x y su representación latente z. Por la regla de la cadena, esto puede reescribirse como p_θ(x) = ∫_z p_θ(x|z) p_θ(z) dz.
Esta integral es típicamente intratable, por lo que el VAE introduce una red codificadora para aproximar la posterior p_θ(z|x) con una distribución variacional q_φ(z|x). El objetivo de entrenamiento es el límite inferior de evidencia (ELBO), que combina el término de reconstrucción y la divergencia KL, y se optimiza mediante descenso de gradiente estocástico usando el truco de la reparametrización.
Entrenamiento y el truco de la reparametrización
El truco de la reparametrización es una técnica clave para entrenar VAE. Permite la retropropagación a través del muestreo estocástico al expresar la variable latente z como una función determinista de la entrada y una variable de ruido. Para un espacio latente gaussiano, z se muestrea como z = μ + σ ⊙ ε, donde ε se extrae de una distribución normal estándar. Esto hace que el gradiente del ELBO sea computable con respecto a los parámetros del codificador y decodificador.
El codificador produce la media μ y la varianza σ de la distribución variacional, y el decodificador reconstruye la entrada a partir del z muestreado. El error de reconstrucción mide cuán bien el decodificador reconstruye la entrada, mientras que la divergencia KL regulariza el espacio latente para que coincida con la distribución previa, típicamente una normal estándar. Este equilibrio fomenta un espacio latente suave y continuo que puede muestrearse para la generación.
Aplicaciones y variantes
Los VAE se han aplicado ampliamente en Generative AI para la generación de imágenes, detección de anomalías y aprendizaje de representaciones. También se usan en el aprendizaje semisupervisado, donde el espacio latente puede capturar características significativas para la clasificación. Las variantes incluyen el beta-VAE, que pondera el término KL para fomentar representaciones desenredadas, y el VQ-VAE, que utiliza códigos latentes discretos. Las variantes de VAE con distancia estadística reemplazan la KL-D con otras distancias para mejorar la robustez o la calidad de las muestras.
En comparación con otros modelos generativos como redes generativas antagónicas (GAN), los VAE ofrecen un entrenamiento estable y un marco probabilístico fundamentado, pero a menudo producen muestras más borrosas. También están relacionados con las arquitecturas de Deep learning y son un tema fundamental en Machine learning. El modelo se ha extendido de numerosas maneras, incluyendo VAE condicionales y VAE jerárquicos, y sigue siendo un área activa de investigación en Artificial intelligence.