生成模型是一类机器学习模型，它们学习给定数据集的概率分布，并利用所学分布生成新的、合理的数据点。与专注于在类别间划定边界的判别模型不同，生成模型旨在捕捉数据本身的内在结构和统计模式。这一能力支撑了生成式人工智能的许多方面，使系统能够创建与训练数据相似的新颖文本、图像、音频及其他内容。生成模型是现代深度学习应用的基础，包括大型语言模型和图像合成工具。
这一概念源于经典统计学，其中高斯混合模型和隐马尔可夫模型等被用于生成序列。然而，现代生成建模时代始于神经网络的兴起，它使模型能够学习复杂的高维分布。关键里程碑包括2013年变分自编码器（VAE）和2014年生成对抗网络（GAN）的引入，两者都扩展了生成的实际应用范围。最近，Transformer架构和扩散模型的发展推动了文本和图像生成的突破，使其在各行业得到广泛采用。
核心原理与类型
生成模型可根据其表示和采样概率分布的方式大致分类。一种常见方法是基于似然的方法，其中模型显式定义数据上的概率分布，并通过最大化观测样本的似然进行训练。示例包括自回归模型（按顺序生成数据，根据先前元素预测下一个元素）和归一化流（使用可逆变换将简单分布映射到复杂分布）。
另一大类是隐式生成模型，它们不显式定义似然，而是通过对抗训练学习生成样本。GAN由Ian Goodfellow及其同事提出，包含一个生成样本的生成器网络和一个区分真实与虚假数据的判别器网络；两者在竞争过程中训练。扩散模型在2020年代崭露头角，其工作原理是逐步向数据添加噪声，然后学习逆转这一过程，从而实现高保真生成。每种类型在训练稳定性、样本质量和计算成本方面都有权衡。
跨领域应用
生成模型在自然语言处理中得到了广泛应用。大型语言模型，如由OpenAI、Anthropic和Google DeepMind开发的模型，是在海量文本语料库上训练的自回归生成模型。它们驱动着聊天机器人、内容创作和代码生成等应用。这些模型依赖Transformer架构，该架构使用多头注意力和位置编码等机制有效处理序列。
在计算机视觉中，生成模型支持图像超分辨率、修复和风格迁移等任务。U-Net架构最初设计用于生物医学图像分割，现已被改编用于基于扩散的图像生成。生成模型还支持数据增强，即创建合成样本以提高其他机器学习系统的鲁棒性。在音频领域，它们合成语音和音乐，应用于虚拟助手和娱乐。
训练与挑战
训练生成模型计算密集，通常需要专用硬件。NVIDIA和AMD等公司生产的GPU加速了深度学习核心的矩阵运算。Amazon Web Services、Azure和Google Cloud等云服务提供商提供可扩展的基础设施，用于训练大型模型。批归一化、层归一化和丢弃法等技术有助于稳定训练，而Adam优化器和SGD变体等优化器则被广泛使用。
一个重大挑战是模式崩溃，即模型生成有限种类的输出，未能捕捉完整的数据分布。这在GAN中尤为普遍。另一个问题是评估生成质量，因为传统的损失函数等指标并不总是与人类感知相关。研究人员使用Fréchet Inception Distance（FID）等图像指标和困惑度等文本指标，但这些指标存在局限性。同时确保多样性和保真度仍是一个活跃的研究领域。
近期发展与未来方向
近期进展集中在扩展模型规模和提高效率上。扩散模型已成为图像生成的最先进技术，Stable Diffusion和DALL-E等系统展示了卓越的能力。在文本领域，Transformer架构通过交叉注意力和编码器-解码器设计等创新不断演进，实现了输入与输出之间更好的对齐。Top-k采样、Top-p采样和温度缩放等技术控制生成文本的随机性，在创造性和连贯性之间取得平衡。
MIT CSAIL、斯坦福人工智能实验室和伯克利人工智能研究等研究机构继续探索理论基础和新颖架构。人们对使生成模型更具可解释性和可控性越来越感兴趣，RLAIF（基于AI反馈的强化学习）等方法被用于使输出与人类偏好对齐。模型剪枝和数据增强等效率改进旨在降低训练的环境和财务成本。随着生成模型变得更加强大，它们融入日常工具的程度可能会扩大，引发关于真实性、偏见和伦理使用的重要问题。