Stable Diffusion XL（SDXL）是由Stability AI于2023年7月发布的深度学习文本到图像模型。它是原始Stable Diffusion模型的增强版本，旨在生成更高分辨率、细节更丰富且构图更准确的图像。SDXL是更广泛的生成式AI热潮的一部分，代表了扩散模型的重大进步，使高质量图像合成对更广泛的受众变得可及。
该模型主要用于根据文本描述生成详细图像，但也支持图像修复、外扩绘制以及由文本提示引导的图像到图像转换等任务。与早期的专有系统（如DALL-E和Midjourney）不同，这些系统仅能通过云服务访问，而SDXL的代码和权重是公开发布的，使其能够在配备中等GPU的消费级硬件上运行。这种开放性标志着与以往文本到图像模型的背离，并促进了Stable Diffusion技术的快速采用。
开发
SDXL由Stability AI与慕尼黑大学CompVis小组及Runway的研究人员合作开发，计算支持来自Stability AI，训练数据来自非营利组织。该项目基于潜在扩散模型（LDM）架构，该架构于2021年由慕尼黑大学和海德堡大学的研究人员发明，包括Robin Rombach、Andreas Blattmann、Patrick Esser和Dominik Lorenz。这些研究人员后来加入Stability AI，以开发后续版本的Stable Diffusion。
该模型的技术许可证由CompVis小组发布，开发工作由Runway的Patrick Esser和CompVis的Robin Rombach领导。Stability AI还感谢了EleutherAI和LAION（一家组装训练数据集的德国非营利组织）的支持。SDXL的发布紧随2022年原始Stable Diffusion的成功，旨在解决分辨率和细节方面的局限性。
技术
架构
SDXL使用一种称为潜在扩散模型（LDM）的扩散模型变体，该变体于2021年开发。扩散模型于2015年提出，其训练目标是去除训练图像中连续施加的高斯噪声，功能上相当于一系列去噪自编码器。“扩散”一词源于热力学扩散，因为这些模型受到热力学的启发。
SDXL由三个主要部分组成：变分自编码器（VAE）、U-Net和可选的文本编码器。VAE编码器将图像从像素空间压缩到较小维度的潜在空间，捕获图像的语义含义。在前向扩散过程中，高斯噪声被迭代地应用于压缩后的潜在表示。U-Net块由ResNet骨干组成，对输出进行去噪以获得潜在表示。最后，VAE解码器通过将表示转换回像素空间来生成最终图像。
去噪步骤可以以文本、图像或其他模态为条件。编码后的条件数据通过交叉注意力机制暴露给去噪U-Net。对于文本条件，SDXL使用两个文本编码器而非一个，这提高了模型理解复杂提示的能力。更大的交叉注意力上下文和多宽高比训练使SDXL能够生成各种分辨率的图像，而不仅仅是先前版本的方形格式。
U-Net拥有8.6亿参数，文本编码器拥有1.23亿参数，SDXL与同时代其他模型相比相对轻量，使其能够在仅2.4 GB显存的消费级GPU上运行。优化版本甚至可以使用OpenVINO在仅CPU的环境下运行。
SD XL Refiner
与SDXL一同发布的还有SD XL Refiner，其架构相同，但专门训练用于通过文本条件的图像到图像转换，为已有图像添加精细细节。该精炼模型允许用户迭代地增强生成的图像。
训练数据
SDXL在来自LAION-5B的图像和标题对上训练，LAION-5B是一个从Common Crawl数据中抓取的公开数据集。该数据集包含50亿个图像-文本对，按语言、分辨率、水印可能性和美学评分进行过滤。训练使用了三个子集：laion2B-en、laion-high-resolution和laion-aesthetics v2 5+。最后一个子集包含6亿张图像，预测美学评分至少为5分（满分10分），排除了低分辨率图像和带水印的图像。
对训练数据的第三方分析显示，在1200万张图像的较小子集中，约47%来自100个不同域名，其中Pinterest占8.5%，其次是WordPress、Blogspot、Flickr、DeviantArt和Wikimedia Commons。巴伐利亚广播公司的一项调查发现，LAION的数据集包含大量私人和敏感数据，引发了隐私担忧。
训练过程
该模型最初在laion2B-en和laion-high-resolution上训练，最后几轮在LAION-Aesthetics v2 5+上进行。训练中丢弃了10%的文本条件，以改进无分类器扩散指导。SDXL使用亚马逊网络服务上的256个Nvidia A100 GPU进行训练，总计150,000 GPU小时，成本为60万美元。
局限性
与其他扩散模型一样，SDXL存在局限性，包括在某些场景下的退化问题。它可能在处理精细细节（如手部或文本）时遇到困难，并可能产生伪影。模型的训练数据也引入了偏见和潜在的隐私问题，正如调查所指出的。截至发布时，SDXL被认为是早期版本的显著改进，但仍需要仔细的提示工程才能获得最佳结果。
影响
SDXL的发布通过使高质量文本到图像生成民主化，促进了AI热潮。其开放性使开发者和艺术家能够将其集成到从艺术创作到设计的各种应用中。该模型的架构影响了后续潜在扩散和基于Transformer模型的发展，包括后来的SD 3.0，后者用整流流Transformer取代了U-Net。
SDXL还引发了关于版权、伦理和生成式AI社会影响的讨论，因为它使得逼真图像的广泛创作成为可能。其训练数据来源于网络，引发了关于同意和数据使用的质疑，导致AI社区中持续的辩论。