贝叶斯优化是一种基于序贯模型的策略，用于对评估成本高昂的黑盒目标函数进行全局优化。当单个观测需要实验、工程计算、数值模拟或机器学习运行，且导数不可用或不可靠时，该方法通常被采用。目标函数无需具有闭式表达式，该方法构建未知函数的概率模型以指导采样过程，从而平衡探索与利用。
该方法通过首先构建目标的概率代理模型（通常是高斯过程）来生成一系列评估点。模型的预测分布为每个候选点提供期望值和不确定性度量。采样准则（也称为采集函数）根据该预测分布计算，并通过优化该准则来选择下一个点。随后评估所选点，用新观测更新模型，并重复该过程。这种方法使其适用于每次评估昂贵或耗时的场景。
历史
贝叶斯方法用于全局优化的早期工作可追溯至20世纪60年代和70年代。Harold J. Kushner等研究者开发了用于定位噪声函数极值的方法，Jonas Mockus则对噪声环境下寻找极值的贝叶斯优化做出了贡献。1998年，Donald R. Jones、Matthias Schonlau和William J. Welch引入了高效全局优化（EGO）算法，该算法将克里金模型（即高斯过程）与期望改进准则相结合，以优化昂贵的支配函数。这项开创性工作为该领域奠定了基础，并使贝叶斯优化得到更广泛的认知。
在随后的几十年中，该框架被扩展以处理噪声观测、约束、批量与并行评估、多目标以及混合或高维空间。这些扩展使该方法能够应用于更广泛的实际问题，但通常以增加算法复杂性为代价。
问题设定
在标准的单目标问题中，贝叶斯优化旨在搜索空间内寻找最小化目标函数f(x)的点。不失一般性，最大化问题可通过最小化-f(x)来重新表述。搜索空间并非主要通过箱式或连续域来定义，尽管标准公式最直接适用于低至中等复杂度的连续问题。随着维度增长，搜索空间扩大，评估点变得稀疏，从而使问题更加困难。
问题可分为无噪声（评估返回精确函数值）和噪声（观测包含某些误差）两类。实际应用通常引入额外复杂性，包括未知约束、并行评估或多目标。每种变化都会影响代理模型和采样准则的定义方式。
基本方法
大多数贝叶斯优化实现遵循标准序贯流程。典型运行从初始设计开始，例如空间填充拉丁超立方体或随机采样，以获取初始观测集。算法随后在这些点评估目标函数。将代理模型拟合到该数据，捕捉预测趋势和预测的不确定性。
随后定义采集函数（也称为填充准则）；常见选择包括期望改进（EI）、上置信界（UCB）和改进概率。通过优化采集函数选择下一个点或批量点，该函数平衡探索（模型不确定性高的点）与利用（模型预测有利值的点）。评估后，更新数据集并重复该过程。
此循环持续直至满足停止规则，有时基于固定数量的原型或收敛准则。贝叶斯策略的关键优势在于其样本效率，即力求以尽可能少的函数评估找到良好解。
概率模型
概率模型的设定是方法论的核心。需要目标函数的回归模型以在搜索空间提供预测和不确定性估计。最常见的选择和事实标准是高斯过程回归（GPR）。高斯过程先验定义了一个连续函数，其中任意点集为联合高斯分布，当观测为连续时，后验可精确计算。GPR灵活且提供解析不确定性，这对定义大多数采集函数至关重要。
其他模型类型包括随机森林、神经网络和深度学习，尤其是在搜索空间高维或包含混合变量时。近期发展还纳入深度学习代理或集成方法以处理替代成本结构。该模型被称为代理模型，因为它在选择候选点时代表昂贵的目标函数。不确定性估计的质量（而非仅预测本身）与采集函数的潜在风险直接相关。
扩展与应用
贝叶斯优化已成为机器学习中超参数优化的标准工具，其中每次试验需要训练和验证模型。此类试验的成本从几分钟到几天不等，超参数数量可能较少，但由于随机性，评估存在噪声。针对噪声评估的方法已被专门开发以处理此问题。
在工程设计中，目标函数通常涉及昂贵的数值模拟，如有限元分析或计算流体动力学，单次运行可能耗时数小时。贝叶斯优化用于在满足约束的同时，寻找最小化成本或最大化性能的设计参数。该方法还应用于化学、物理和药物发现中的实验设计，其中物理测试成本高昂。
并行和批量变体用于利用现代能力，例如GPU集群和云提供商如Amazon Web Services或Google Cloud，通过评估多个点来实现。在高性能计算领域，Nvidia和Intel等组织已投资于将其集成到更广泛工作流中的工具。贝叶斯优化也是一个活跃的研究领域，算法持续取得进展。
尽管有其优势，该方法在处理极高维问题和复杂非平稳函数方面仍存在局限。然而，这些局限在当前研究文献中尚不明确，许多扩展正在开发以应对这些设置。