受限玻尔兹曼机（RBM）是一种生成式随机人工神经网络，能够学习其输入集合上的概率分布。它是玻尔兹曼机的一种变体，其限制在于神经元构成一个二分图：连接仅存在于两组单元之间，通常称为可见单元和隐藏单元，且每组内部没有连接。这种限制使得训练算法比一般玻尔兹曼机更高效，尤其是基于梯度的对比散度算法。
RBM最初由Paul Smolensky于1986年以Harmonium之名提出，并在Geoffrey Hinton及其合作者于2000年代中期为其开发出快速学习算法后声名鹊起。它们已应用于降维、分类、协同过滤、特征学习、主题建模、免疫学以及多体量子力学。RBM可以根据任务以监督或无监督方式训练，并且是深度学习网络中的关键组成部分，其中可以通过堆叠RBM并可选地使用梯度下降和反向传播对所得网络进行微调来形成深度信念网络。
结构
标准类型的RBM具有二值（布尔）隐藏和可见单元。它由一个大小为\(m \times n\)的权重矩阵\(W\)组成，其中每个权重元素\(w_{i,j}\)与可见单元\(v_i\)和隐藏单元\(h_j\)之间的连接相关联。此外，还有可见单元的偏置权重\(a_i\)和隐藏单元的偏置权重\(b_j\)。配置（布尔向量对）\((v, h)\)的能量定义为：
\[ E(v, h) = -\sum_i a_i v_i - \sum_j b_j h_j - \sum_i \sum_j v_i w_{i,j} h_j \]
或以矩阵表示：
\[ E(v, h) = -a^{\mathrm{T}} v - b^{\mathrm{T}} h - v^{\mathrm{T}} W h. \]
该能量函数类似于Hopfield网络的能量函数。与一般玻尔兹曼机一样，可见和隐藏向量的联合概率分布由能量函数定义：
\[ P(v, h) = \frac{1}{Z} e^{-E(v, h)} \]
其中\(Z\)是配分函数，一个确保概率总和为1的归一化常数。可见向量的边缘概率是所有可能的隐藏层配置下\(P(v, h)\)之和，反之亦然。
训练与对比散度
由于RBM的底层图结构是二分图，隐藏单元激活在给定可见单元激活的条件下相互独立，反之，可见单元激活在给定隐藏单元激活的条件下也相互独立。这一性质简化了条件概率的计算，从而实现高效训练。最常见的训练算法是对比散度，它通过执行短马尔可夫链蒙特卡洛运行（通常使用一步吉布斯采样）来近似对数似然梯度。这种方法避免了配分函数\(Z\)的不可计算求和，该函数需要对所有可能配置进行求和。
RBM可以在监督和无监督模式下训练。在无监督学习中，模型学习表示输入数据分布，通常用于特征提取或降维。在监督任务中，RBM可以通过将标签纳入可见层或使用单独的输出层来适应预测标签。
在深度学习中的应用
受限玻尔兹曼机是深度学习中的基础组件。通过堆叠多个RBM可以形成深度信念网络，其中一个RBM的隐藏层作为下一个RBM的可见层。这种逐层预训练使网络能够从数据中学习层次特征。预训练后，可以使用梯度下降和反向传播对整个网络进行微调，这一技术对现代深度学习架构的发展产生了重要影响。
RBM已应用于协同过滤，其中它们对用户-项目交互进行建模以用于推荐系统，以及主题建模，其中它们从文本语料库中学习潜在主题。在免疫学中，它们被用于建模免疫系统反应，在量子力学中，它们被用于表示多体量子态。
与其他模型的关系
RBM与其他神经网络模型密切相关。它们是玻尔兹曼机的一个特例，玻尔兹曼机允许隐藏单元之间的连接，但二分限制使训练更加可行。它们在能量函数上与Hopfield网络也有相似之处，但RBM是生成式和随机的，而Hopfield网络通常是确定性的且用于联想记忆。在机器学习的更广泛背景下，RBM被视为一种生成模型，区别于标准前馈神经网络等判别模型。
遗产与影响
RBM的发展对2000年代中期深度学习的复兴做出了重大贡献。Geoffrey Hinton，后来成为人工智能领域的杰出人物，使用RBM证明了深度网络可以有效训练，克服了早期基于梯度方法的困难。这项工作影响了后续架构，包括变压器和大型语言模型，尽管这些模型使用不同的训练范式。RBM仍然是生成式AI研究中的重要理论模型，并在其概率性质具有优势的专门应用中继续得到使用。