Stable Diffusion 2.0是由Stability AI于2022年发布的深度学习文本到图像模型，基于扩散技术。它是生成式AI领域持续发展的AI热潮的一部分，主要用于根据文本描述生成详细图像，同时也能处理图像修复、外绘以及由文本提示引导的图像到图像转换等任务。该模型是一种潜在扩散模型，属于深度生成人工神经网络的一种，其代码和模型权重已公开发布，使其能够在大多数消费级硬件上运行，仅需低至2.4 GB显存的GPU即可。这标志着与之前专有的文本到图像模型（如DALL-E和Midjourney）有所不同，后者仅能通过云服务访问。
Stable Diffusion的开发涉及慕尼黑大学LMU的CompVis小组和Runway的研究人员，Stability AI提供了计算捐赠，非营利组织提供了训练数据。该模型代表了向更广泛受众普及先进生成式AI的重要一步，因为它可以在本地运行，而无需依赖云端访问。
发展历史
Stable Diffusion源于一个名为潜在扩散的项目，由德国慕尼黑大学LMU和海德堡大学的研究人员开发。最初五位作者中的四位，，Robin Rombach、Andreas Blattmann、Patrick Esser和Dominik Lorenz，，后来加入了Stability AI并发布了该模型的后续版本。该模型的技术许可证由慕尼黑大学LMU的CompVis小组发布。开发由Runway的Patrick Esser和CompVis的Robin Rombach领导，他们是最早发明Stable Diffusion所用潜在扩散模型架构的研究人员之一。Stability AI还将EleutherAI和LAION列为该项目的支持者，后者是一家德国非营利组织，负责组装用于训练该模型的数据集。
Stable Diffusion 2.0的发布紧随2022年8月Stable Diffusion的首次公开发布，该发布已因其从文本提示生成高质量图像的能力而获得广泛关注。2.0版本在架构和训练过程方面引入了多项改进和优化。
技术
架构
扩散模型于2015年提出，其训练目标是从训练图像中逐步去除高斯噪声，这可以视为一系列去噪自编码器的序列。“扩散”这一名称源于热力学扩散，因为这些模型最初是受热力学启发而开发的。Stable Diffusion系列在SD 3之前的所有模型均使用了一种称为潜在扩散模型（LDM）的扩散模型变体，该变体于2021年由慕尼黑大学LMU的CompVis小组开发。
Stable Diffusion由三部分组成：变分自编码器（VAE）、U-Net以及可选的文本编码器。VAE编码器将图像从像素空间压缩到较小维度的潜在空间，从而捕捉图像更基本的语义含义。在前向扩散过程中，高斯噪声被迭代地应用于压缩后的潜在表示。U-Net块由ResNet骨干网络组成，通过反向去噪前向扩散的输出以获得潜在表示。最后，VAE解码器将该表示转换回像素空间以生成最终图像。
去噪步骤可以灵活地以文本字符串、图像或其他模态为条件。编码后的条件数据通过交叉注意力机制暴露给去噪U-Net。对于文本条件，使用固定的预训练CLIP ViT-L/14文本编码器将文本提示转换为嵌入空间。研究人员指出，LDM在训练和生成方面的计算效率更高是其优势之一。
U-Net拥有8.6亿个参数，文本编码器拥有1.23亿个参数，按2022年的标准，Stable Diffusion被认为相对轻量。与其他扩散模型不同，它可以在消费级GPU上运行，甚至如果使用OpenVINO版本的Stable Diffusion，还可以仅依靠CPU运行。
训练数据
Stable Diffusion使用来自LAION-5B的图像和标题配对进行训练，LAION-5B是一个公开可用的数据集，源自从网络抓取的Common Crawl数据。该数据集包含50亿个图像-文本对，根据语言进行分类，并按分辨率、预测的含水印可能性以及预测的“美学”评分（例如，主观视觉质量）过滤到不同的子集中。该数据集由LAION创建，这是一家德国非营利组织，接受Stability AI的资助。
Stable Diffusion模型在LAION-5B的三个子集上进行了训练：laion2B-en、laion-high-resolution和laion-aesthetics v2 5+。对模型训练数据的第三方分析发现，在从原始更广泛数据集中取出的1200万张图像的较小样本中，约47%的图像样本来自100个不同领域，其中Pinterest占该子集的8.5%，其次是WordPress、Blogspot、Flickr、DeviantArt和Wikimedia Commons等网站。Bayerischer Rundfunk的一项调查显示，托管在Hugging Face上的LAION数据集包含大量私人和敏感数据。
训练过程
该模型最初在laion2B-en和laion-high-resolution子集上训练，最后几轮训练在LAION-Aesthetics v2 5+上进行，该子集包含6亿个带标题的图像，LAION-Aesthetics Predictor V2预测人类在要求评分时平均会给出至少5分（满分10分）的喜好度。LAION-Aesthetics v2 5+子集还排除了低分辨率图像以及LAION-5B-WatermarkDetection识别为有大于80%概率携带水印的图像。最后几轮训练还丢弃了10%的文本条件，以改进无分类器扩散引导。
该模型使用256块Nvidia A100 GPU在Amazon Web Services上训练，总计150,000 GPU小时，成本为60万美元。
2.0版本的改进
Stable Diffusion 2.0在原始版本的基础上引入了多项关键改进。该模型采用了新的文本编码器，使用更大的CLIP模型，改善了文本提示与生成图像之间的对齐。训练数据也得到了优化，更加注重高分辨率和美学上令人愉悦的图像，这有助于减少伪影的出现并提高整体图像质量。
此外，2.0版本更好地支持非正方形宽高比，允许用户生成更多样式的图像格式。该模型在图像修复和外绘等任务上也表现出更好的性能，这些任务涉及根据周围上下文填充或扩展图像的部分区域。
局限性
Stable Diffusion在某些场景下存在退化问题和伪影。该模型在生成复杂场景的准确表示方面可能遇到困难，尤其是涉及多个对象或复杂细节的场景。它还可能产生有偏见或不适当的内容，反映了训练数据中存在的偏见。该模型对CLIP文本编码器的依赖意味着其对语言的理解仅限于CLIP所学到的内容，这可能导致对某些提示的误解。
此外，源自网络的训练数据包含广泛的内容，其中一些可能是私人的或敏感的。这引发了对隐私以及使用此类数据训练生成模型所涉及的伦理问题的担忧。训练的计算成本虽然低于某些替代方案，但仍需要大量资源，并且模型的性能可能因用于推理的硬件而异。
影响与反响
Stable Diffusion 2.0的发布是更广泛的Stable Diffusion公开发布的一部分，推动了生成式AI热潮。该模型的开源性质和在消费级硬件上运行的能力使其广泛可及，激发了创意和商业应用的热潮。它还影响了该领域的后续发展，包括其他开源模型的发布以及基于扩散技术的各种产品集成。
该模型的可及性也引发了关于版权、艺术所有权和潜在滥用的讨论，导致关于生成式AI技术监管的持续辩论。尽管面临这些挑战，Stable Diffusion 2.0仍然是文本到图像生成演变中的一个重要里程碑，证明了高质量生成模型不局限于云服务的可行性。