StyleGAN2是一种用于图像合成的生成模型，由NVIDIA的研究人员于2019年12月提出。它是StyleGAN架构的第二代迭代，旨在生成高分辨率、逼真的图像，尤其是人脸的图像，并对视觉属性提供前所未有的控制。该模型基于神经网络框架和深度学习技术，并改进了其前身的技术，以消除常见伪影并提高图像质量。
StyleGAN2的主要创新在于其重新设计的归一化和渐进式训练方法。最初的StyleGAN于2019年发布，使用自适应实例归一化（AdaIN）来控制每一层的风格，但这通常会在生成的图像中产生特有的“水滴”伪影。StyleGAN2用权重解调技术取代了AdaIN，该技术直接对卷积层的权重进行归一化，从而产生更干净的输出和更稳定的训练。它还引入了一种渐进式增长方案，从低分辨率开始，逐步增加到1024x1024像素，使模型能够有效地学习从粗到细的细节。
架构与训练
StyleGAN2在机器学习对抗性设置中使用生成器和判别器。生成器接收潜在代码（一个随机数向量），并通过映射网络将其映射到中间潜在空间，然后用于调制每个卷积层的风格。这种映射与合成的分离允许对姿态、身份和光照等特征进行细粒度控制。判别器是一个卷积网络，经过训练以区分真实图像和生成图像，推动生成器产生越来越逼真的输出。
训练在Flickr-Faces-HQ（FFHQ）数据集上进行，该数据集包含70,000张高质量人脸图像，以及用于其他类别（如猫和汽车）的LSUN数据集。该模型在8个NVIDIA V100 GPU上训练，最高分辨率大约需要一周时间。官方实现以NVIDIA源代码许可协议开源发布，代码可在GitHub上获取。
对StyleGAN的改进
StyleGAN2的关键改进解决了原始版本的特定缺陷。权重解调消除了StyleGAN输出中常见的斑点状伪影，尤其是在背景和皮肤纹理中。此外，StyleGAN2引入了一种新的正则化项，称为路径长度正则化，它鼓励生成器在潜在空间中产生平滑的插值，使得在不发生突变的情况下更容易操作属性。
另一个重要变化是移除了生成器的渐进式增长，取而代之的是跳跃连接架构，使模型能够同时学习多尺度特征。这减少了训练时间并提高了稳定性，因为模型不再需要在不同分辨率阶段之间切换。
应用与影响
StyleGAN2已成为人工智能研究和创意应用中的标准工具。它广泛用于生成合成数据集以训练其他模型、创建数字艺术，以及用于换脸和编辑工具。该模型将风格与结构分离的能力使得通过操作特定潜在代码来实现属性编辑（例如，改变年龄、眼镜或表情）成为可能。它还影响了后续模型，包括进一步改善平移等变性的StyleGAN3。
该模型已集成到各种软件中，包括流行的开源工具“StyleGAN2-ADA”，用于自适应数据增强，允许在有限数据下进行训练。研究人员还使用StyleGAN2来研究潜在空间属性，从而深入了解神经网络如何表示视觉概念。
局限性与伦理考量
尽管质量很高，StyleGAN2仍有局限性。它需要大量的计算资源进行训练，尽管预训练模型可用于消费级硬件上的推理。该模型在复杂场景或生成非面部对象时可能会产生伪影，并且可能放大训练数据中存在的偏见，例如某些人群的代表性不足。
伦理问题源于逼真生成人脸可能被滥用于深度伪造、错误信息或隐私侵犯。研究人员已开发出检测方法，但生成与检测之间的军备竞赛仍在继续。OpenAI等组织已发布负责任使用指南，但该技术仍然易于获取。
遗产
StyleGAN2被认为是生成式AI的一个里程碑，证明了GAN能够实现接近照片级的质量并具有可控生成能力。其技术已被许多后续工作采用，该模型仍然是图像合成的基准。代码和预训练模型在学术界和工业界广泛使用，该论文已被引用数千次，反映了其对深度学习领域的影响。