Self-Attention GAN (SAGAN) é uma arquitetura de rede generativa adversária introduzida em 2018 por Han Zhang, Ian Goodfellow, Dimitris Metaxas e Augustus Odena. Ela aprimora o framework padrão de GAN ao incorporar mecanismos de auto-atenção, que permitem ao gerador e ao discriminador modelar relações entre regiões distantes de uma imagem. Diferentemente das camadas convolucionais, que processam vizinhanças locais, os módulos de atenção do SAGAN calculam respostas como somas ponderadas de características em toda a extensão espacial, abordando a limitação das GANs convolucionais em capturar dependências de longo alcance para tarefas como síntese de imagens.
A arquitetura baseia-se em trabalhos anteriores em transformadores e atenção multi-cabeça, adaptando esses mecanismos para a geração de imagens. O SAGAN demonstrou resultados de estado da arte no conjunto de dados ImageNet na resolução de 128x128, alcançando um Inception Score de 52,52 e uma Fréchet Inception Distance de 18,65. O modelo também introduziu a normalização espectral tanto no gerador quanto no discriminador, melhorando a estabilidade do treinamento, e utilizou uma função de perda hinge para o treinamento adversário.
Mecanismo de Atenção na Geração de Imagens
A inovação central do SAGAN é a aplicação de auto-atenção às características de imagem. A técnica foi inspirada pela atenção multi-cabeça usada em redes neurais para modelagem de sequências, mas adaptada para dados espaciais bidimensionais. No gerador, os módulos de atenção são colocados após certos blocos convolucionais, permitindo que o modelo aprenda relações globais, como o alinhamento dos olhos em um rosto ou a coerência de texturas em uma cena. A saída da atenção é calculada como uma média ponderada dos valores de características, onde os pesos são derivados de produtos escalares entre vetores de consulta e chave, escalados por um parâmetro aprendível.
Os autores demonstraram que as camadas de atenção melhoram tanto a fidelidade quanto a diversidade das amostras geradas em comparação com arquiteturas puramente convolucionais. Eles também propuseram uma técnica chamada Regularização de Atenção, que incentiva os mapas de atenção a serem diversos entre canais, prevenindo que o modelo colapse em padrões triviais.
Estabilidade de Treinamento e Normalização Espectral
O modelo incorpora normalização em lote no gerador e normalização de camada no discriminador, mas, mais importante, aplica normalização espectral a todas as camadas de ambas as redes. A normalização espectral, introduzida anteriormente para GANs em 2018 por Takeru Miyato et al., restringe a constante de Lipschitz da rede ao normalizar a norma espectral de cada matriz de pesos. Essa técnica de estabilização permite que o SAGAN treine com taxas de aprendizado mais altas e menos instâncias de colapso de modo, uma falha comum em GANs.
Os autores também usaram uma perda hinge para o discriminador e uma regra de atualização em duas escalas de tempo (TTUR) para o otimizador Adam, definindo as taxas de aprendizado do gerador e do discriminador em valores diferentes. Essas escolhas contribuíram para uma convergência mais rápida e melhor qualidade das amostras.
Desempenho no ImageNet e Comparações
O SAGAN foi avaliado no conjunto de dados ImageNet nas resoluções de 128x128 e 256x256, produzindo amostras visualmente plausíveis em diversas classes. Em 128x128, alcançou um Inception Score de 52,52, uma melhoria significativa em relação a modelos anteriores de estado da arte, como Progressive GANs (43,20) e Spectral Normalization GANs (48,62). O modelo também mostrou FID reduzido em comparação com as linhas de base, indicando melhor similaridade distribucional com imagens reais.
A eficácia da atenção foi demonstrada por meio de experimentos controlados, onde modelos sem camadas de atenção produziram imagens menos coerentes, particularmente em categorias com estruturas espaciais complexas, como pássaros e cães. Os resultados sugeriram que a auto-atenção é crucial para gerar texturas realistas e poses de objetos.
Influência e Trabalhos Posteriores
O SAGAN influenciou trabalhos subsequentes em IA generativa e síntese de imagens. Seu mecanismo de atenção foi adotado no BigGAN, que combinou a arquitetura do SAGAN com tamanhos de lote maiores e treinamento condicionado por classe para alcançar qualidade de imagem ainda maior. A ideia de usar atenção em geradores também informou pesquisas posteriores sobre modelos de difusão, onde camadas de atenção são padrão em redes modernas de denoising.
O artigo foi apresentado na International Conference on Machine Learning (ICML) em 2019 e tem sido amplamente citado. Ele contribuiu para o entendimento mais amplo de que mecanismos de atenção, originalmente desenvolvidos para tarefas de sequência a sequência, podem ser efetivamente transferidos para domínios espaciais.
Limitações e Considerações Computacionais
As camadas de auto-atenção têm complexidade computacional quadrática em relação à resolução espacial, tornando-as caras para imagens de alta resolução. Os experimentos do SAGAN foram limitados à resolução de 256x256 devido a restrições de memória. Trabalhos subsequentes propuseram variantes eficientes de atenção, como atenção esparsa ou fatorada, para abordar esse problema de escalabilidade. Além disso, embora o SAGAN tenha melhorado a coerência global, ele ainda enfrentava dificuldades com detalhes finos em cenas complexas, uma limitação que arquiteturas mais novas superaram parcialmente.
Apesar desses desafios, o SAGAN permanece uma contribuição fundamental para o campo de aprendizado profundo para visão, demonstrando que a atenção pode complementar operações convolucionais para alcançar modelos generativos mais fortes.