贝叶斯深度学习是机器学习的一个子领域，它将深度学习与贝叶斯推断相结合，以对神经网络预测中的不确定性进行建模。与产生点估计的标准神经网络不同，贝叶斯深度学习将模型参数视为概率分布，使网络能够表达偶然不确定性（数据固有的噪声）和认知不确定性（模型的无知）。这种方法在医疗诊断、自动驾驶和金融预测等安全关键应用中尤其有价值，在这些场景中，了解模型不知道什么与做出准确预测同样重要。
其核心思想源于贝叶斯统计学，其中关于参数的先验信念通过观测数据更新，从而得到后验分布。在深度学习的背景下，这转化为在网络权重上放置先验分布，并根据训练数据计算后验。然而，由于参数空间的高维性，深度网络中的精确贝叶斯推断在计算上难以处理，这促使了变分推断、蒙特卡洛丢弃法和马尔可夫链蒙特卡洛方法等近似技术的发展。
历史发展
贝叶斯深度学习的概念基础可追溯到20世纪90年代，当时David MacKay和Radford Neal等研究者探索了神经网络的贝叶斯处理方法。MacKay关于贝叶斯插值的工作以及Neal使用哈密顿蒙特卡洛进行神经网络贝叶斯学习的研究奠定了早期基础。然而，计算限制阻碍了实际应用，直到2010年代，硬件和算法的进步才重新激发了兴趣。
一个关键时刻出现在2015年，Yarin Gal和Zoubin Ghahramani证明了广泛使用的正则化技术，，丢弃法，可以被解释为贝叶斯神经网络的变分近似。这一见解发表在他们题为“作为贝叶斯近似的丢弃法”的论文中，使贝叶斯深度学习无需专门推断机制即可为从业者所用。此后，该领域迅速发展，应用涵盖计算机视觉、自然语言处理和强化学习。
神经网络中的贝叶斯推断
在标准深度学习中，训练通过最小化损失函数来找到一组权重。贝叶斯深度学习则旨在计算给定数据D下权重θ的后验分布p(θ|D)。根据贝叶斯定理，该后验与似然p(D|θ)乘以先验p(θ)成正比。新输入x的预测分布通过对后验积分获得：p(y|x, D) = ∫ p(y|x*, θ) p(θ|D) dθ。
对于深度网络，这种积分通常难以处理，因此需要近似方法。变分推断通过最小化q与真实后验之间的Kullback-Leibler散度，用更简单的分布q(θ)来近似后验。蒙特卡洛丢弃法在测试时使用丢弃法采样多个权重配置，从而近似预测分布。哈密顿蒙特卡洛及其变体提供了更准确但计算成本更高的基于采样的方法。
不确定性的类型
贝叶斯深度学习区分两种主要的不确定性类型。偶然不确定性捕捉数据中固有的噪声，如传感器测量误差或标签模糊性。这种不确定性无法通过收集更多数据来减少，通常通过对网络输出放置分布来建模。认知不确定性反映了由于训练数据不足或模型设定错误导致的模型不确定性。这种不确定性可以通过收集更多数据来减少，并通过权重上的后验分布来捕捉。
区分这些不确定性对应用至关重要。例如，在医学影像中，偶然不确定性可能指示模糊的扫描结果，而认知不确定性可能标记需要专家审查的分布外病例。异方差回归等技术（网络同时预测均值和方差）有助于建模偶然不确定性，而权重上的贝叶斯推断则处理认知不确定性。
近似方法
已开发出几种实用方法来近似深度网络中的贝叶斯推断。2015年由Kingma等人引入的变分丢弃法学习每个权重的丢弃率，提供稀疏后验。随机梯度朗之万动力学将随机优化与朗之万动力学相结合，从后验中采样。深度集成虽然严格来说并非贝叶斯方法，但通过使用不同初始化训练多个网络并平均其预测来近似后验，在实践中往往优于更复杂的贝叶斯方法。
蒙特卡洛丢弃法因其简单性而使用最广泛：它不需要改变训练过程，只需在推断时启用丢弃法。然而，它往往低估不确定性。更近的方法如SWAG（随机权重平均高斯）通过围绕随机权重平均值的均值拟合高斯分布来近似后验，在准确性和计算成本之间提供了平衡。
工业与研究中的应用
贝叶斯深度学习已在多个领域找到应用。在自动驾驶中，Waymo和特斯拉自动驾驶等公司使用不确定性估计来决定何时干预或请求人工接管。在医疗保健中，贝叶斯网络通过标记不确定的诊断来帮助放射科医生，MIT计算机科学与人工智能实验室和斯坦福人工智能实验室等机构的研究已证明了这一点。金融机构使用贝叶斯模型进行风险评估和欺诈检测，在这些场景中，虚假的自信可能代价高昂。
在自然语言处理中，贝叶斯方法已被应用于大型语言模型，以量化生成文本中的不确定性，有助于幻觉检测。OpenAI、Anthropic和Google DeepMind的研究团队已探索了用于模型校准和安全部署的贝叶斯方法。此外，贝叶斯深度学习还用于主动学习，模型选择最具信息量的数据点进行标注，从而降低标注成本。
挑战与局限
尽管前景广阔，贝叶斯深度学习仍面临重大挑战。后验推断的计算成本通常比标准训练高出几个数量级，限制了其扩展到非常大的模型。先验分布的选择显著影响结果，但深度网络的原则性先验仍是一个开放的研究问题。此外，许多近似方法仅提供粗略的不确定性估计，而评估这些估计的质量本身也很困难。
另一个局限是不确定性的可解释性。模型可能因与数据稀缺无关的原因（如对抗性扰动）而输出高不确定性。Aleksander Madry及其同事关于稳健不确定性估计的研究解决了这些脆弱性。此外，该领域缺乏用于比较不确定性方法的标准化基准，使得评估进展变得困难。
未来方向
贝叶斯深度学习的新兴研究聚焦于扩展到更大模型和提高近似质量。函数空间变分推断和深度核学习等技术旨在捕捉更具表达力的后验。同时，人们对将贝叶斯方法与Transformer和生成模型相结合以增强AI系统可靠性也越来越感兴趣。
另一个方向是将贝叶斯深度学习与因果推断和持续学习相结合，使模型能够在不忘却先前知识的情况下适应新任务。NVIDIA和AMD等公司的硬件创新使贝叶斯计算更加可行，而亚马逊网络服务和Azure等云平台提供了概率编程工具。随着AI系统更深入地嵌入关键基础设施，对原则性不确定性量化的需求可能会推动该领域的进一步进展。
结论
贝叶斯深度学习代表了从确定性神经网络到概率性神经网络的范式转变，使模型能够传达其置信度。通过将深度学习的表征能力与贝叶斯推断的严谨性相结合，它解决了传统AI的一个根本局限：无法知道自身不知道什么。尽管计算挑战依然存在，该领域已产生了实用工具，正在改善各行业的安全性和可靠性。随着研究的推进，贝叶斯深度学习有望成为可信AI系统的标准组成部分。