VQGAN+CLIP是一种生成式人工智能技术，它将向量量化生成对抗网络（VQGAN）与CLIP模型相结合，根据文本描述生成图像。该技术于2021年初出现，是零样本文本到图像生成的显著范例，利用预训练组件而非从头训练新模型。这种方法因其能够生成风格化且往往超现实的图像而受到艺术家和研究者的欢迎，早于后来大规模扩散模型的出现。
该方法由Katherine Crowson等人在开源社区中提出，基于Patrick Esser、Robin Rombach和Björn Ommer在海德堡大学开发的VQGAN模型，以及OpenAI于2021年1月发布的CLIP模型。VQGAN+CLIP的工作原理是在VQGAN的潜在空间中迭代优化图像，以最大化图像与给定文本提示之间的相似度，该相似度由CLIP的对比嵌入衡量。此优化过程使用梯度下降法执行，通常采用Adam优化器或类似变体，并常结合数据增强等技术以提高输出质量。
机制
核心机制涉及两个预训练的神经网络组件。VQGAN是一种生成模型，学习视觉标记的离散码本，从而能够压缩和重建图像。CLIP是一种基于Transformer的模型，将图像和文本编码到共享嵌入空间中，其中语义相似的配对在空间中距离较近。为了生成图像，系统初始化一个随机潜在码，然后通过VQGAN反复解码以生成图像，计算该图像与提示之间的CLIP相似度，并反向传播梯度以更新潜在码。这一过程通常称为“CLIP引导合成”，会重复数百或数千次迭代。
一个关键变体使用在特定数据集（如ImageNet）上训练的VQGAN，这会影响输出的风格和内容。优化通常在潜在空间而非像素空间中进行，这在计算上更高效，并能提供更平滑的梯度。许多实现还采用一种称为“CLIP损失”的技术，该技术将余弦相似度与额外的正则化项（如总变差损失）相结合，以鼓励生成连贯的图像。
历史背景
VQGAN+CLIP于2021年春季声名鹊起，紧随CLIP的发布和VQGAN的早期工作之后。它是最早证明无需训练专用条件模型即可实现高质量文本到图像生成的方法之一，而是重新利用现有组件。这与早期方法（如AttnGAN或StackGAN）形成对比，后者需要大型配对数据集和大量训练。该方法的可及性，，因为它可以在单个消费级GPU上运行，，促成了其在Twitter和Reddit等在线社区中的快速采用，用户在那里分享生成的 artworks。
该技术也影响了后续研究。它是DALL-E 2和Stable Diffusion等后来模型的先驱，这些模型采用了类似的CLIP引导思想，但用扩散模型取代了VQGAN。VQGAN+CLIP对迭代优化的依赖使其比前馈生成器更慢，但它通过提示工程和参数调整提供了细粒度的控制。
应用与局限
主要应用包括艺术创作、概念艺术和表情包生成。艺术家使用它从文本提示中探索视觉想法，通常结合多个提示或使用“提示加权”来强调某些方面。它也被用于互动装置和作为创意编码的工具。然而，该方法有显著局限：输出通常分辨率较低（通常为256x256像素），容易出现伪影，并且在不同运行之间可能不一致。优化过程可能陷入局部最小值，产生重复或无意义的图像。此外，它需要仔细调整超参数，如学习率、迭代次数和增强强度。
与后来的扩散模型系统相比，VQGAN+CLIP缺乏生成具有精细细节的逼真图像的能力。它的优势在于产生抽象、绘画感或梦幻般的结果，许多用户认为这些在美学上具有吸引力。该方法每张图像的计算成本也相对较高，因为每次生成都需要完整的优化循环。
遗产
VQGAN+CLIP被认为是2021-2022年生成式人工智能快速演变中的一个里程碑。它展示了结合大型预训练模型用于新任务的力量，这一范式后来成为机器学习研究的核心。虽然到2022年它基本上被扩散模型取代，但它在历史上仍然具有重要意义，并因其独特的美学而在小众应用中被继续使用。开源实现，如Katherine Crowson和Ryan Murdock的那些，已被存档，并在学术文献中持续被引用。
该技术还凸显了OpenAI的CLIP作为超越其原始分类目的的通用工具的重要性，影响了后来在图像编辑和检索方面的工作。它促进了零样本学习和基础模型重用这一更广泛趋势，后者后来成为人工智能研究的主导主题。
技术细节
典型的VQGAN+CLIP实现使用码本大小为16384、潜在维度为256的VQGAN，在256x256分辨率的ImageNet上训练。使用的CLIP模型通常是ViT-B/32或ViT-B/16，它们将图像编码为512维嵌入。优化循环运行50到500次迭代，潜在空间中的学习率约为0.1。在计算CLIP损失之前，会对解码后的图像应用数据增强，如随机裁剪和翻转，以减少对特定像素模式的过拟合。一些实现使用“剪切”技术，即评估多个随机裁剪并取平均。最终图像从优化后的潜在码解码，并可单独使用其他方法进行放大。
几个软件包，包括流行的“CLIP Guided Diffusion”和“VQGAN-CLIP”笔记本，使该方法易于使用。这些通常包含提示调度（文本提示随迭代变化）和“初始图像”（从起始图片引导生成）等功能。该方法的灵活性和低入门门槛是其广泛采用的关键。