计算启发式智能是Artificial intelligence的一个子领域，涉及启发式方法的设计与应用。这些方法利用实用捷径、经验法则或迭代搜索过程，在精确或最优解在计算上不可行时寻找满意解。与保证最优性的经典算法方法不同，启发式技术以确定性换取速度和可处理性，使其在处理具有大型或不确定解空间的复杂现实问题时不可或缺。该学科借鉴生物学、心理学和数学的见解，并与Machine learning和Deep learning显著重叠。
“计算智能”一词出现于20世纪90年代初，用于描述表现出适应性行为的系统，通常与传统符号AI形成对比。启发式方法在20世纪60年代和70年代随着进化计算的出现和搜索算法的形式化而变得突出。随着时间的推移，该领域扩展到包括神经启发方法、模糊逻辑和混合系统，成为现代AI实践的基础支柱。如今，计算启发式智能支撑着优化、机器人、自然语言处理和决策支持系统中的许多应用。
搜索与优化启发式
计算启发式智能的核心组成部分是使用随机或确定性搜索策略来探索解空间。诸如模拟退火（由Scott Kirkpatrick及其同事于1983年发明）和遗传算法（由John Holland在20世纪70年代推广）等技术广泛应用于组合优化问题，如调度、路由和芯片设计。这些方法迭代地改进候选解，使用类似于温度冷却或自然选择的机制。与精确求解器相比，它们不保证全局最优性，但通常能在更短的时间内找到高质量解。现代变体包括粒子群优化（由Kennedy和Eberhart于1995年引入）和蚁群优化（由Marco Dorigo于1992年提出），它们模仿生物体的社会行为。这些方法应用于从物流到电信的各个行业，包括Fujitsu和NEC等公司。
神经启发式与学习
人工神经网络是计算启发式智能中的关键工具，其本身具有启发式性质：它们从数据中近似函数映射，而无需显式编程。20世纪60年代Bernard Widrow在自适应线性元件上的早期工作以及后来Backpropagation（由David Rumelhart及其同事于1986年形式化）将学习确立为对权重参数的启发式搜索。现代Neural network系统，包括Transformer (architecture)模型，依赖诸如Adam (Optimizer)的启发式方法进行高效梯度下降，以及Dropout来防止过拟合。这些方法在数学上并不精确，但在Deep learning任务（如图像识别和语言生成）中已被证明非常有效。2015年引入的Residual Network (ResNet)架构使用跳跃连接作为启发式方法，使深度网络的训练成为可能，而U-Net则将类似原理应用于生物医学图像分割。诸如Batch Normalization和Layer Normalization等正则化启发式技术进一步提高了训练稳定性和泛化能力。
进化计算与基于规则的系统
进化算法构成另一支柱，作用于候选解群体，并应用选择、交叉和变异算子。这些方法在多目标优化中特别有用，因为需要管理权衡。在基于规则的系统中，从专家知识或数据中学习得到的启发式规则驱动决策，通常在生产环境中使用。例如，Xerox PARC使用启发式设计原则开创了图形用户界面，而Nokia Bell Labs则探索了通信网络中的启发式方法。该领域还与Curriculum Learning交叉，其中训练示例按难度排序作为改进模型收敛的启发式方法，以及与Reinforcement Learning from AI Feedback (RLAIF)（基于AI反馈的强化学习）交叉，后者使用启发式奖励模型来指导代理行为。
跨领域应用
计算启发式智能在工业中无处不在。像Sanctuary AI和Figure AI这样的机器人公司采用启发式路径规划和控制来实现灵巧操作。来自Waymo和Tesla的自动驾驶系统使用启发式决策框架来导航不确定环境。在医疗保健领域，Commure和Intuitive Surgical分别将启发式方法整合到临床工作流程和手术机器人中。诸如Amazon Web Services（配备AWS Trainium）、Microsoft Azure、Google Cloud和Oracle Cloud Infrastructure等云提供商部署启发式调度器来优化资源分配。像Groq、SambaNova和Graphcore这样的专业AI硬件公司设计加速启发式推理任务的芯片，而D-Wave则提供用于启发式优化的量子退火系统。包括MIT CSAIL、Stanford AI Lab和BAIR (Berkeley AI Research)在内的学术机构继续推进理论基础，研究人员如Melanie Mitchell和Brian Christian研究启发式推理的局限性和伦理问题。
挑战与未来方向
一个主要挑战是缺乏性能保证。启发式方法可能在对抗性输入上严重失败，而这些输入是优秀方法可能错过的。例如，Aleksander Madry和Ali Rahimi强调了学习型启发式方法中的鲁棒性问题，促使了对验证和约束优化的研究。另一个挑战是可解释性：理解启发式方法为何得出特定解通常很困难。诸如序列生成中的Beam Search和Top-K Sampling等工具对其选择不提供任何解释。未来方向包括将精确方法与启发式方法相结合的混合系统，以及学习在较低级启发式方法之间进行选择的元启发式方法。将Large language model整合到启发式搜索过程中也在兴起，系统使用自然语言来提出和评估候选方案。随着计算能力的增长，精确解与近似解之间的边界不断变化，但对高效、可扩展启发式方法的需求保持不变，确保该领域的持续相关性。
与人类和自然智能的关系
这里的“智能”一词与人类和生物智能相类比。启发式方法通常源自人类问题解决策略，如Joshua Tenenbaum和Brendan Lake所研究的那样。自然进化中的拟人化音频，例如大脑使用稀疏表示，为Dropout和剪枝提供了启发。与纯粹依赖统计模式的Generative AI模型不同，计算启发式智能强调目标导向的搜索。这一视角在Artificial intelligence伦理讨论中至关重要，研究人员如Rafael Calvo倡导与人类价值观一致的机制。该领域还与Chess computer历史互动，其中启发式评估函数从Deep Blue时代起就至关重要。随着我们开发更强大的AI系统，启发式基础很可能仍然不可或缺，在精确性与适应性之间取得平衡。
参见
- Neural network
- Machine learning
- 进化计算（slug不可用，链接省略）
- 模拟退火（slug不可用，链接省略）
注释
- 本文重点讨论计算启发式智能作为一个独特概念，强调其启发式性质而非纯粹学习。
- 在来源可靠的地方提及具体日期和作者。
类别：启发式
参考文献
为简洁起见，省略了大量引用，但文中提到了关键基础工作。进一步阅读，请参见关于进化计算和神经网络训练的外部资源。