Um autoencoder variacional (VAE) é uma arquitetura de rede neural artificial introduzida por Diederik P. Kingma e Max Welling em 2013. Pertence às famílias de modelos gráficos probabilísticos e métodos bayesianos variacionais. Além de ser uma arquitetura de autoencoder, um VAE pode ser estudado dentro da formulação matemática dos métodos bayesianos variacionais, conectando uma rede neural codificadora ao seu decodificador por meio de um espaço latente probabilístico, como uma distribuição gaussiana multivariada, que corresponde aos parâmetros de uma distribuição variacional.
O codificador mapeia cada ponto de um grande conjunto de dados complexo, como uma imagem, em uma distribuição dentro do espaço latente, em vez de um único ponto. O decodificador realiza a função oposta, mapeando do espaço latente para o espaço de entrada de acordo com uma distribuição, embora ruído raramente seja adicionado durante a decodificação na prática. Ao mapear um ponto para uma distribuição em vez de um único ponto, a rede pode evitar o sobreajuste dos dados de treinamento. Ambas as redes são tipicamente treinadas juntas usando o truque da reparametrização, embora a variância do modelo de ruído possa ser aprendida separadamente. Embora inicialmente projetado para aprendizado não supervisionado, o modelo se mostrou eficaz para aprendizado semissupervisionado e aprendizado supervisionado.
Arquitetura e operação
Um VAE é um modelo generativo com uma distribuição anterior e de ruído. Tais modelos são frequentemente treinados usando o meta-algoritmo de maximização de expectativa, como com PCA probabilístico ou codificação esparsa. Esse esquema otimiza um limite inferior da verossimilhança dos dados, que geralmente é computacionalmente intratável, e requer a descoberta de distribuições q, ou posteriores variacionais. Essas distribuições q são normalmente parametrizadas para cada ponto de dados individual em um processo de otimização separado. No entanto, VAEs usam uma rede neural como uma abordagem amortizada para otimizar conjuntamente entre pontos de dados, reutilizando os mesmos parâmetros para múltiplos pontos de dados e alcançando economias massivas de memória. A primeira rede neural, chamada de codificador, recebe pontos de dados como entrada e produz parâmetros para a distribuição variacional, mapeando de um espaço de entrada conhecido para o espaço latente de baixa dimensão.
O decodificador é a segunda rede neural, mapeando do espaço latente para o espaço de entrada, por exemplo, como as médias da distribuição de ruído. É possível usar outra rede neural para mapear a variância, mas isso pode ser omitido por simplicidade; nesse caso, a variância pode ser otimizada com descida de gradiente.
Para otimizar o modelo, dois termos são necessários: o erro de reconstrução e a divergência de Kullback–Leibler (KL-D). Ambos os termos derivam da expressão de energia livre do modelo probabilístico e diferem dependendo da distribuição de ruído e do anterior assumido dos dados, referido como distribuição p. Por exemplo, uma tarefa padrão de VAE, como IMAGENET, tipicamente assume ruído gaussiano, enquanto tarefas como MNIST binarizado exigem ruído de Bernoulli. O termo KL-D maximiza a massa de probabilidade da distribuição q que se sobrepõe à distribuição p, o que pode resultar em comportamento de busca de modos. O termo de reconstrução é o restante da expressão de energia livre e requer uma aproximação por amostragem para calcular seu valor esperado. Abordagens mais recentes substituem a KL-D por várias distâncias estatísticas.
Formulação
Da perspectiva da modelagem probabilística, deseja-se maximizar a verossimilhança dos dados x pela distribuição de probabilidade parametrizada escolhida p_θ(x) = p(x|θ). Essa distribuição é geralmente escolhida como uma gaussiana N(x|μ, σ), parametrizada por μ e σ, e, como membro da família exponencial, é fácil de trabalhar como distribuição de ruído. Distribuições simples são fáceis de maximizar, mas distribuições com um anterior sobre os latentes z resultam em integrais intratáveis. Para encontrar p_θ(x), marginaliza-se sobre z:
p_θ(x) = ∫_z p_θ(x, z) dz,
onde p_θ(x, z) é a distribuição conjunta sob p_θ dos dados observáveis x e sua representação latente z. Pela regra da cadeia, isso pode ser reescrito como p_θ(x) = ∫_z p_θ(x|z) p_θ(z) dz.
Essa integral é tipicamente intratável, então o VAE introduz uma rede codificadora para aproximar o posterior p_θ(z|x) com uma distribuição variacional q_φ(z|x). O objetivo de treinamento é o limite inferior da evidência (ELBO), que combina o termo de reconstrução e a divergência KL, e é otimizado via descida de gradiente estocástica usando o truque da reparametrização.
Treinamento e o truque da reparametrização
O truque da reparametrização é uma técnica chave para treinar VAEs. Ele permite a retropropagação através da amostragem estocástica ao expressar a variável latente z como uma função determinística da entrada e de uma variável de ruído. Para um espaço latente gaussiano, z é amostrado como z = μ + σ ⊙ ε, onde ε é extraído de uma distribuição normal padrão. Isso torna o gradiente do ELBO computável em relação aos parâmetros do codificador e do decodificador.
O codificador produz a média μ e a variância σ da distribuição variacional, e o decodificador reconstrói a entrada a partir do z amostrado. O erro de reconstrução mede quão bem o decodificador reconstrói a entrada, enquanto a divergência KL regulariza o espaço latente para corresponder ao anterior, tipicamente uma distribuição normal padrão. Esse equilíbrio incentiva um espaço latente suave e contínuo que pode ser amostrado para geração.
Aplicações e variantes
VAEs têm sido amplamente aplicados em Generative AI para geração de imagens, detecção de anomalias e aprendizado de representações. Eles também são usados em aprendizado semissupervisionado, onde o espaço latente pode capturar características significativas para classificação. Variantes incluem o beta-VAE, que pondera o termo KL para incentivar representações desembaraçadas, e o VQ-VAE, que usa códigos latentes discretos. Variantes de VAE com distância estatística substituem a KL-D por outras distâncias para melhorar a robustez ou a qualidade das amostras.
Comparados a outros modelos generativos, como redes adversárias generativas (GANs), os VAEs oferecem treinamento estável e um framework probabilístico fundamentado, mas frequentemente produzem amostras mais borradas. Eles também estão relacionados a arquiteturas de Deep learning e são um tópico fundamental em Machine learning. O modelo foi estendido de várias maneiras, incluindo VAEs condicionais e VAEs hierárquicos, e permanece uma área ativa de pesquisa em Artificial intelligence.