2022年8月，Stability AI公开发布了Stable Diffusion，这是一个基于扩散技术的深度学习文本到图像模型。它是Stability AI的首要产品，被视为正在进行的AI热潮的关键组成部分。Stable Diffusion主要根据文本描述生成详细图像，但也支持Inpainting、外绘以及由提示引导的图像到图像转换等任务。其代码和模型权重已公开发布，使得版本能够在大多数消费级硬件上运行，仅需2.4 GB显存，这与仅可通过云服务访问的专有模型如DALL-E和Midjourney形成鲜明对比。
开发工作涉及慕尼黑大学LMU CompVis小组和Runway的研究人员，Stability AI提供了计算捐赠，非营利组织提供了训练数据。该模型是一种潜在扩散模型（LDM），属于深度生成式人工神经网络的一种。其架构、训练程序和文化影响已被广泛研究。
开发
Stable Diffusion源于一个名为潜在扩散的项目，由德国慕尼黑大学和海德堡大学的研究人员开发。最初五位作者中的四位，，Robin Rombach、Andreas Blattmann、Patrick Esser和Dominik Lorenz，，后来加入了Stability AI并发布了后续版本。该模型的技术许可由慕尼黑大学LMU CompVis小组发布。开发由Runway的Patrick Esser和CompVis的Robin Rombach领导，他们是早期发明Stable Diffusion所用潜在扩散模型架构的研究人员之一。Stability AI还感谢了EleutherAI和LAION（一个德国非营利组织，负责组装Stable Diffusion训练所用的数据集）作为支持者。
技术
架构
扩散模型于2015年引入，其训练目标是去除训练图像上连续施加的高斯噪声，即一系列去噪自编码器。扩散这一名称源于热力学扩散，因为该技术受到热力学启发。Stable Diffusion系列中SD 3之前的模型使用了一种称为潜在扩散的变体，由慕尼黑大学LMU CompVis小组于2021年开发。
Stable Diffusion由三部分组成：一个变分自编码器（VAE）、一个U-Net和一个可选的文本编码器。VAE编码器将图像从像素空间压缩到较小维度的潜在空间，捕捉基本语义含义。在前向扩散过程中，高斯噪声被迭代应用于压缩后的潜在表示。U-Net由ResNet骨干组成，通过反向去噪输出以获得潜在表示。随后，VAE解码器通过将表示转换回像素空间来生成最终图像。
去噪步骤可以以文本、图像或其他模态为条件。编码后的条件数据通过交叉注意力机制暴露给去噪U-Net。对于文本条件，一个固定的、预训练的CLIP ViT-L/14文本编码器将提示转换为嵌入空间。研究人员认为LDM的优势在于提高了计算效率。U-Net中有8.6亿个参数，文本编码器中有1.23亿个参数，按2022年的标准，Stable Diffusion相对轻量，可以在消费级GPU上运行，甚至可以使用OpenVINO版本在仅CPU环境下运行。
#### SD XL
XL版本使用与先前版本相同的LDM架构，但规模更大，具有更大的U-Net骨干、更大的交叉注意力上下文、两个文本编码器（而非一个），并在多种宽高比（不仅仅是正方形）上进行训练。同时发布的SD XL Refiner具有相同架构，但训练目标是利用文本条件的图像到图像转换，为现有图像添加精细细节。
#### SD 3.0
3.0版本完全改变了骨干架构，使用Rectified Flow Transformer而非U-Net，实现了带有Transformer的rectified flow方法。该架构名为“多模态扩散Transformer”（MMDiT），具有三个轨道：原始文本编码、转换后的文本编码和潜在空间中的图像编码。在每个Transformer块中，转换后的文本和图像编码会混合。这与之前的DiT版本不同，后者中文本编码影响图像编码，但反之则不然。
训练数据
Stable Diffusion在来自LAION-5B的图像和标题对上训练，这是一个基于Common Crawl数据的公开数据集。这50亿个图像-文本对按语言、分辨率、预测水印可能性和美学评分进行过滤。该数据集由LAION创建，这是一个接受Stability AI资助的德国非营利组织。模型在三个子集上训练：laion2B-en、laion-high-resolution和laion-aesthetics v2 5+。第三方分析发现，在较小的1200万图像子集中，约47%来自100个域名，其中Pinterest占8.5%，其次是WordPress、Blogspot、Flickr、DeviantArt和Wikimedia Commons。巴伐利亚广播公司的一项调查显示，LAION的数据集包含大量私人和敏感数据。
训练程序
模型最初在laion2B-en和laion-high-resolution上训练，最终轮次在LAION-Aesthetics v2 5+上进行，这是一个包含6亿个带标题图像的子集，预测美学质量评分至少为5分（满分10分）。该子集排除了低分辨率图像和检测到水印概率超过80%的图像。最终轮次丢弃了10%的文本条件，以改进无分类器扩散指导。训练使用256块Nvidia A100 GPU在Amazon Web Services上进行，耗时150,000 GPU小时，成本为60万美元。
局限性
Stable Diffusion在生成复杂构图、手部或文本时存在退化问题。它可能表现出训练数据中的偏见，并且其复制艺术风格的倾向引发了版权担忧。模型的开放性也使其被滥用于生成虚假信息或未经同意的图像，引发了关于内容审核和伦理部署的讨论。
发布与可用性
2022年8月22日通过Stability AI公开发布，使该模型以开放权重形式可用。这与DALL-E和Midjourney形成对比，后者是封闭且仅限云端的。Stable Diffusion可以下载并在本地运行，导致快速采用和大量微调版本的涌现。优化版本需要适中的GPU规格，仅需2.4 GB显存，扩大了访问范围。
影响
Stable Diffusion促进了公众对AI艺术的参与，催生了社区和工具。它影响了后续模型的开发，并为AI热潮做出了贡献。其开放权重激发了创新，但也引发了关于数据来源和版权的法律与伦理问题。
后续版本
在初始发布后，Stability AI发布了改进版本，包括SD 2.0、SD XL和SD 3.0。SD XL引入了架构增强，而SD 3.0采用了基于Transformer的骨干。这些版本延续了公开发布的模式，但许可变更和对商业用途的关注已被注意到。
反响与争议
Stable Diffusion因其技术成就和可访问性而受到赞誉，但也面临关于训练数据问题、偏见和潜在滥用的批评。来自艺术家和图片库机构的诉讼挑战出现，质疑在抓取图像上训练的合法性。这些争议塑造了生成式AI政策中正在进行的辩论。