Self-Attention GAN（SAGAN）是一种生成对抗网络架构，由Han Zhang、Ian Goodfellow、Dimitris Metaxas和Augustus Odena于2018年提出。它通过引入自注意力机制增强了标准GAN框架，使生成器和判别器能够建模图像中远距离区域之间的关系。与仅处理局部邻域的卷积层不同，SAGAN的注意力模块将响应计算为整个空间范围内特征的加权和，解决了卷积GAN在图像合成等任务中捕获长距离依赖的局限性。
该架构建立在先前关于transformers和Multi-Head Attention的研究基础上，将这些机制适配到图像生成中。SAGAN在ImageNet数据集的128x128分辨率上展示了最先进的性能，取得了52.52的Inception Score和18.65的Fréchet Inception Distance。该模型还在生成器和判别器中引入了谱归一化，提高了训练稳定性，并使用铰链损失作为对抗训练的目标函数。
图像生成中的注意力机制
SAGAN的核心创新是将自注意力应用于图像特征。该技术受到用于序列建模的Multi-Head Attention和neural networks的启发，但针对二维空间数据进行了适配。在生成器中，注意力模块被放置在特定卷积块之后，使模型能够学习全局关系，例如人脸中眼睛的对齐或场景中纹理的一致性。注意力输出被计算为特征值的加权平均，其中权重来自查询和键特征向量之间的点积，并通过一个可学习参数进行缩放。
作者证明，与纯卷积架构相比，注意力层提高了生成样本的保真度和多样性。他们还提出了一种称为注意力正则化的技术，该技术鼓励注意力图在通道间保持多样性，防止模型坍缩到平凡模式。
训练稳定性与谱归一化
该模型在生成器中使用了Batch Normalization，在判别器中使用了Layer Normalization，但更重要的是，它对两个网络的每一层都应用了谱归一化。谱归一化由Takeru Miyato等人于2018年首次引入GAN，通过归一化每个权重矩阵的谱范数来约束网络的Lipschitz常数。这种稳定技术使SAGAN能够以更高的学习率进行训练，并减少模式坍缩的发生，模式坍缩是GAN中常见的失败模式。
作者还使用了铰链损失作为判别器的目标函数，并对Adam优化器采用了双时间尺度更新规则（TTUR），为生成器和判别器设置了不同的学习率。这些选择促进了更快的收敛和更好的样本质量。
在ImageNet上的性能与比较
SAGAN在ImageNet数据集上以128x128和256x256的分辨率进行了评估，在多样化的类别中产生了视觉上合理的样本。在128x128分辨率下，它取得了52.52的Inception Score，显著优于先前的最先进模型，如Progressive GANs（43.20）和Spectral Normalization GANs（48.62）。该模型还显示出比基线更低的FID，表明其与真实图像的分布相似性更好。
通过受控实验证明了注意力的有效性，没有注意力层的模型生成的图像一致性较差，特别是在具有复杂空间结构的类别中，如鸟类和狗。结果表明，自注意力对于生成逼真的纹理和物体姿态至关重要。
影响与后续工作
SAGAN影响了后续在Generative AI和图像合成领域的工作。其注意力机制被BigGAN采用，BigGAN将SAGAN的架构与更大的批量大小和类别条件训练相结合，以实现更高的图像质量。在生成器中使用注意力的想法也启发了后来关于diffusion models的研究，其中注意力层是现代去噪网络中的标准组件。
该论文于2019年在国际机器学习大会（ICML）上展示，并被广泛引用。它促进了更广泛的理解，即最初为Sequence-to-Sequence (Seq2Seq)任务开发的注意力机制可以有效地迁移到空间领域。
局限性与计算考量
自注意力层在空间分辨率方面具有二次计算复杂度，这使得它们在高分辨率图像上代价高昂。由于内存限制，SAGAN的实验仅限于256x256分辨率。后续工作提出了高效的注意力变体，如稀疏或分解注意力，以解决这一可扩展性问题。此外，虽然SAGAN改善了全局一致性，但它在复杂场景中的细粒度细节方面仍然存在困难，这一局限性已被更新的架构部分克服。
尽管存在这些挑战，SAGAN仍然是Deep learning视觉领域的基础性贡献，证明了注意力可以补充卷积操作，以实现更强大的生成模型。