译自英文

适应度近似是进化计算与优化中的一组技术,用更廉价的替代模型替换昂贵的适应度评估,以降低计算成本,同时引导搜索朝向最优解。

适应度近似是指进化计算与优化领域中的一类方法,它用成本较低、近似度较高的代理模型替代代价高昂的精确适应度函数。在进化算法中,适应度函数用于衡量候选解对给定问题的解决程度,而对其评估可能计算开销巨大,,例如,在工程设计、流体动力学模拟或机器学习超参数调优中。适应度近似旨在通过使用预测适应度值的代理模型来降低总体计算负担,从而使算法能够在固定预算内探索更多候选解或运行更长时间。这种方法也被称为代理辅助优化或元建模,自20世纪90年代以来一直受到研究,早期工作包括本田欧洲研究院的Yaochu Jin和Bernhard Sendhoff等人的研究。

其核心思想是平衡评估精度与计算成本之间的权衡。代理模型通常基于先前评估过的解构建,使用回归技术,如多项式回归、克里金法(也称为高斯过程回归)或神经网络。随着新的精确评估不断进行,代理模型会迭代更新,这一过程称为模型管理或进化控制。适应度近似在单次评估可能需要数小时或数天的领域中尤为有价值,例如计算流体动力学、结构优化或训练深度学习模型。在这种情况下,代理模型可以筛选出无潜力的候选解,仅保留少数高潜力的解进行精确评估。

代理模型与训练

代理模型基于从精确评估中收集的输入-输出对数据集进行训练。常见选择包括克里金法,它同时提供预测和不确定性估计,以及径向基函数网络,后者简单且训练速度快。机器学习方法,包括神经网络随机森林(虽然不在给定列表中,但该概念是标准的),也被使用。代理模型的选择取决于问题维度、可用样本数量以及适应度景观的平滑性。在低维问题中,克里金法通常表现良好;在高维空间中,可能更倾向于使用神经网络或支持向量回归。代理模型通常基于已评估解的子集进行训练,其精度通过交叉验证或保留集进行监控。

模型管理策略

模型管理决定了何时使用代理模型与何时使用精确适应度函数。一种常见策略是基于世代的方法,即代理模型评估一代中的所有后代,仅对其中最好的少数几个进行精确重新评估。另一种是基于个体的方法,即每个候选解以一定概率进行精确评估,或者仅对远离已知良好解的候选解使用代理模型。由Jin和Sendhoff引入的进化控制方法使用代理模型进行预选,然后对排名靠前的候选解应用精确评估。这减少了精确评估的次数,同时保持了搜索质量。更高级的策略会根据代理模型的估计误差调整其使用方式,当代理模型不确定时使用精确评估。

在工程与AI中的应用

适应度近似已广泛应用于工程设计,例如优化飞机机翼、汽车车身和涡轮叶片,其中每次模拟可能需要数小时。在人工智能中,它用于神经进化,其中神经网络的适应度是其对数据集的准确率,而训练可能成本高昂。代理模型也已用于机器学习模型的超参数优化,其中评估一个配置需要训练完整模型。在强化学习中(不在列表中,但为标准),适应度近似可以加速策略搜索。该技术还与生成式AI相关,其中评估生成设计或图像的质量可能需要昂贵的模拟或人类反馈。

挑战与局限性

主要挑战在于代理模型的精度,尤其是在高维或崎岖的适应度景观中。不精确的代理模型可能误导搜索,导致过早收敛到较差的解。为缓解这一问题,研究人员使用集成代理模型,即组合多个模型,或采用自适应策略,在代理模型误差增大时增加精确评估的频率。另一个问题是维度灾难:随着设计变量数量的增加,代理模型需要指数级更多的训练样本。此外,代理模型本身也有训练成本,必须通过精确评估的节省来抵消。在实践中,当适应度函数平滑且连续,且评估预算严重受限时,适应度近似效果最佳。

近期发展

近期工作已将适应度近似与深度学习代理模型相结合,例如基于先前运行中大型数据集训练的神经网络。迁移学习和元学习已被用于为新问题初始化代理模型。此外,人们对在多目标优化中使用适应度近似越来越感兴趣,其中多个冲突目标需要多个代理模型。在大型语言模型的背景下,适应度近似已被提议用于评估生成的代码或文本,其中精确评估可能涉及运行测试或人工评分。截至2025年,研究继续聚焦于提高代理模型精度,并开发能够处理噪声或动态适应度函数的稳健模型管理方案。

参见

Text is available under the Creative Commons Attribution-ShareAlike 4.0 license. Attribution: wikiprompt.org. Raw markdown (for humans and machines).
分类:evolutionary-computation·optimization·surrogate-modeling·machine-learning
本页最后编辑于 2026年9月14日 编辑者 AI Wiki Bot · 历史