噪声对比估计（NCE）是机器学习中用于估计概率分布参数的一种技术。该方法由Michael Gutmann和Aapo Hyvärinen于2010年提出，将密度估计转化为一个二元分类问题：给定一组观测数据点和一组人工生成的噪声样本，训练模型以区分两者。这种方法避免了计算归一化常数的需要，而在诸如神经网络和大语言模型等复杂模型中，该常数往往难以处理。
NCE在配分函数难以评估的场景中尤为有用，例如基于能量的模型、自然语言处理和推荐系统。通过学会区分数据与噪声，模型隐式地学习了底层数据分布，这使得NCE在精确似然计算不可行时，成为最大似然估计的一种实用替代方案。
数学表述
NCE定义了一个二元分类问题，其中每个数据点被标记为真实（1）或噪声（0）。噪声分布记为\(p_n\)，通常是均匀分布或高斯分布等简单分布。模型分布\(p_m(x; \theta)\)由参数\(\theta\)参数化。目标是最大化正确分类的对数概率：
\[ J(\theta) = \sum_{i=1}^{T} \left[ \log h(x_i; \theta) + \log(1 - h(x_i'; \theta)) \right] \]
其中\(x_i\)为观测数据点，\(x_i'\)为噪声样本，且\(h(x; \theta) = \frac{p_m(x; \theta)}{p_m(x; \theta) + k \cdot p_n(x)}\)。这里，\(k\)是每个数据点对应的噪声样本数。随着\(k\)增大，NCE估计量趋近于最大似然估计量，但即使在适中的\(k\)值（例如10到25）下，NCE在温和条件下也能产生一致的估计。
关键优势在于模型分布\(p_m\)可以是非归一化的，即可以表示为\(p_m(x; \theta) = \exp(f(x; \theta))\)，其中\(f\)是神经网络或其他函数逼近器。归一化常数被隐式地吸收到分类目标中，从而无需显式计算。
在语言建模中的应用
NCE已被广泛采用于自然语言处理领域，特别是在训练词嵌入和语言模型方面。2013年，Tomas Mikolov及其在谷歌的同事在Word2Vec框架中使用了NCE来学习单词的分布式表示。例如，skip-gram模型使用NCE来区分目标词与从一元分布中采样的噪声词。与在包含数十万词汇的大词表上进行完整softmax计算相比，这种方法显著降低了计算成本。
后来，NCE被应用于神经语言模型，包括循环神经网络和基于Transformer的架构。例如，2016年，谷歌DeepMind的研究人员使用NCE在One Billion Word Benchmark上训练了一个语言模型，在当时达到了最先进的困惑度水平。最近，NCE还被用于对比学习框架中，其目标是通过拉近正样本对、推远负样本对来学习表示，这一概念与NCE的噪声采样策略密切相关。
与其他方法的比较
NCE常与重要性采样、对比散度和负采样进行比较。与重要性采样不同，即使提议分布与目标分布不接近，NCE也能提供一致的估计量。用于训练受限玻尔兹曼机的对比散度近似对数似然的梯度，而NCE则直接优化分类目标。由Word2Vec推广的负采样是NCE的一种简化版本，它忽略了涉及噪声分布的修正项，因此速度更快，但理论基础较弱。
NCE也与最大似然估计（MLE）不同，因为它不需要归一化模型。在MLE中，必须计算或近似归一化常数，这往往难以处理。NCE通过将归一化常数视为隐式学习的参数来规避这一问题。这使得NCE对于具有复杂架构的模型（如深度生成式AI模型）特别有吸引力。
实际考虑
选择合适的噪声分布对NCE的性能至关重要。噪声分布应易于采样，且其支撑集应与数据分布有重叠。在实践中，数据域上的均匀分布很常见，但对于高维数据，高斯分布或数据依赖的分布（例如文本的一元分布）通常效果更好。噪声样本数\(k\)也影响偏差-方差权衡：较大的\(k\)减少偏差但增加计算成本。典型值范围从1到25，其中10是常见选择。
NCE已在TensorFlow和PyTorch等主流机器学习库中实现，并可用于Gensim等word2vec工具中。它也被用于推荐系统，例如YouTube基于深度学习的推荐模型，在该模型中NCE帮助扩展到数百万个物品。
扩展与变体
NCE已有多种扩展被提出。条件NCE（CNCE）引入条件变量，使得能够对条件分布进行密度估计。基于排序的NCE使用排序损失而非逻辑损失，从而增强了对噪声的鲁棒性。2019年，研究人员引入了InfoNCE，这是一种用于对比预测编码的变体，已成为计算机视觉和音频领域自监督学习的基石。InfoNCE最大化上下文与未来样本之间的互信息，并已被应用于SimCLR和CLIP等模型中。
另一种变体称为带学习噪声分布的NCE，在训练过程中自适应地调整噪声分布，这可以改善收敛性。这些扩展将NCE的适用性从密度估计拓宽到了表示学习和生成建模。
结论
噪声对比估计是一种强大且灵活的技术，用于在无需显式归一化的情况下学习概率分布。其扩展到高维问题的能力使其成为现代机器学习中的常用工具，从词嵌入到大规模语言模型均有所应用。随着研究的继续，NCE及其变体仍是活跃的研究领域，在理论保证和人工智能新应用方面持续有相关工作推进。