SD3 Large 是由 Stability AI 开发的生成式人工智能图像合成模型。该模型于 2024 年发布，属于 Stable Diffusion 3 系列，专注于从文本描述生成高分辨率图像。其设计旨在改进早期 Stable Diffusion 版本在提示遵循、照片真实感和图像内文本渲染等方面的表现。
SD3 Large 是一种文本到图像模型，采用基于变换器的架构，不同于其前代产品基于U-Net的设计。它整合了多头注意力机制，并在包含大量图像和文本对的数据集上进行训练。该模型能够生成分辨率高达 1024x1024 像素的图像，并支持图像修复和外扩等功能，允许编辑和扩展现有图像。
架构
SD3 Large 的基础架构是扩散模型，它通过迭代方式将噪声图像细化为由文本提示引导的清晰输出。它采用具有数十亿参数的神经网络，使其成为 Stable Diffusion 系列中较大的模型之一。该模型使用交叉注意力机制将文本嵌入与图像特征对齐，从而实现对生成内容的精确控制。与早期依赖残差网络块的版本不同，SD3 Large 利用纯变换器主干，这提高了可扩展性和性能。
能力
SD3 Large 在生成具有准确文本渲染的图像方面表现出色，而这对于早期文本到图像模型来说是一个常见挑战。它支持从照片写实到艺术风格的广泛风格，并能处理包含多个对象和属性的复杂提示。该模型还提供高级功能，如负面提示（允许用户指定输出中应避免的内容）和引导尺度参数（用于控制对提示的遵循程度）。在训练期间，它针对Adam优化器的使用进行了优化，但推理时则采用标准采样技术，如Top-p采样和温度缩放。
发布与可用性
SD3 Large 于 2024 年 6 月发布，紧随同年早些时候发布的 SD3 Medium 之后。它采用非商业许可证，供研究和个人使用，商业许可可通过 Stability AI 获取。该模型可通过 Stability AI API 访问，也可通过亚马逊云服务和谷歌云等平台集成使用。此外，它还可从 Hugging Face 下载，允许开发者在兼容硬件（包括AMD和NVIDIA GPU）上本地运行。
性能与反响
对 SD3 Large 的初步评估显示，它在图像质量和提示保真度等基准测试中较前代产品有显著改进。它因能够生成清晰文本和处理复杂场景而获得机器学习社区的积极反馈。然而，一些用户指出，该模型需要大量计算资源，这使得没有高端硬件的爱好者难以使用。截至 2024 年，SD3 Large 被认为是深度学习图像生成领域领先的开源权重模型之一。
局限性
尽管具有优势，SD3 Large 仍存在局限性。它可能难以处理非常抽象的提示或涉及稀有对象的提示，并且在复杂光照条件下偶尔会产生伪影。该模型还继承了训练数据中的偏差，这可能导致刻板印象的呈现。Stability AI 已实施安全过滤器以减少有害内容，但这些过滤器并非万无一失。与其他与大型语言模型相关的技术一样，持续研究旨在未来迭代中解决这些问题。