径向基函数网络（RBF网络）是一种使用径向基函数作为激活函数的人工神经网络。网络的输出是输入和神经元参数的径向基函数的线性组合。RBF网络有许多用途，包括函数逼近、时间序列预测、分类和系统控制。它们最早由Broomhead和Lowe在1988年的一篇论文中提出，两人均为皇家信号与雷达研究所的研究人员。
RBF网络是神经网络的一种类型，与更常见的前馈网络在隐藏层结构和训练方法上有所不同。它们与机器学习中的核回归和高斯过程模型等方法密切相关，并已应用于从人工智能到控制工程等多个领域。
网络架构
RBF网络通常有三层：输入层、具有非线性径向基函数激活的隐藏层和线性输出层。输入是实数向量，输出是该输入的标量函数。输出计算为径向基函数的加权和，每个函数以输入空间中的特定点为中心。
每个隐藏神经元都有一个中心向量和一个宽度参数。神经元的激活仅取决于输入与其中心之间的距离，这使得函数具有径向对称性。通常使用欧几里得距离，尽管马氏距离在模式识别中可能表现更好。最常见的径向基函数是高斯函数，它随着与中心距离的增加而平滑衰减至零。这种局部性意味着改变一个神经元的参数对远离其中心的输入影响很小。
在激活函数的温和条件下，RBF网络是输入空间紧致子集上的通用逼近器。只要有足够多的隐藏神经元，它们就能以任意精度逼近闭且有界集合上的任何连续函数。
网络参数（权重、中心和宽度）通过优化网络输出与训练数据之间的拟合来确定。
归一化
RBF网络可以归一化，在这种情况下，输出是神经元输出的加权平均值，而不是简单求和。这种归一化架构确保输出位于有界范围内，并能提高数值稳定性。当网络用于概率估计或输入分布变化时，归一化尤其有用。
训练方法
训练RBF网络通常涉及两个阶段。首先，选择隐藏神经元的中心和宽度，通常使用无监督方法，如k均值聚类或从训练数据中随机采样。其次，学习输出权重，通常通过求解线性最小二乘问题来完成，这既快速又有唯一解。
这种两阶段方法与深度学习网络中使用的基于梯度的训练形成对比，后者所有参数同时调整。RBF网络也可以用梯度下降训练，但线性输出层使权重估计特别高效。
应用
RBF网络用于各种任务。在函数逼近中，它们可以建模复杂的非线性关系。在时间序列预测中，它们已应用于金融和气象数据。在分类中，它们作为机器学习分类器的一种类型，特别是在模式识别问题中。它们还用于系统控制，因为其训练速度快且输出平滑。
与深度学习模型相比，RBF网络通常更简单且需要的数据更少，但由于维度灾难，它们在高维输入上可能表现不佳。它们已用于亚马逊网络服务等领域中的某些预测任务，尽管大规模现代应用往往更青睐更深层的架构。
局限性与扩展
RBF网络的一个局限性是隐藏神经元的数量可能随输入维度呈指数增长，使其在非常高维的问题上不实用。扩展包括自适应选择中心、使用不同的基函数，以及将RBF层与其他网络类型相结合的混合方法。
尽管Transformer模型在生成式人工智能中兴起，RBF网络仍然是神经网络工具箱中的基础工具，因其理论清晰和训练简便而受到重视。