在人工神经网络中，节点的激活函数是一种根据其个体输入及其权重计算节点输出的函数。它是神经网络的核心组成部分，决定神经元是否应被激活，并引入网络学习复杂模式所必需的非线性。如果没有非线性激活函数，多层网络将退化为单一线性变换，严重限制其表达能力。激活函数用于各种架构中，包括变换器、残差网络和卷积神经网络，并且在机器学习和深度学习等学科中处于核心地位。
激活函数的选择显著影响训练动态和性能。现代示例包括逻辑（sigmoid）函数，用于Hinton等人2012年开发的语音识别模型；修正线性单元（ReLU），用于2012年的AlexNet计算机视觉模型和2015年的ResNet模型；以及高斯误差线性单元（GELU），一种平滑版本的ReLU，用于2018年的BERT模型。这些函数在数学性质上有所不同，如非线性、范围和可微性，这些性质影响它们在基于梯度的优化中的行为。
数学性质
激活函数可以通过几个关键数学性质来表征，这些性质影响它们在训练神经网络中的有效性。
非线性
当激活函数是非线性时，两层神经网络可以被证明是通用函数逼近器，这意味着它可以以任意精度逼近紧致域上的任何连续函数。这被称为通用逼近定理。恒等激活函数不满足此性质；如果所有层都使用恒等激活，整个网络等同于单层模型，无法学习复杂映射。
范围
当激活函数的范围有限时，基于梯度的训练方法往往更稳定，因为模式呈现仅显著影响有限的权重。相反，当范围无限时，训练通常更高效，因为模式呈现影响大多数权重，但通常需要较小的学习率以防止发散。例如，sigmoid函数的范围有限（0，1），而ReLU的范围无限[0，∞)。
连续可微
连续可微的激活函数对于实现基于梯度的优化方法是可取的。ReLU在零处不是连续可微的，但基于梯度的方法在实践中仍然有效，尽管它可能导致死神经元等问题。二进制阶跃激活函数在0处不可微，且在其他地方梯度为零，因此基于梯度的方法无法利用它取得进展。这些性质并不能最终决定性能，但它们是重要的考虑因素。
激活函数的类别
大多数常见激活函数可以分为三类：脊函数、径向函数和折叠函数。
脊激活函数
脊函数是作用于输入变量线性组合的多元函数。示例包括：
- 线性激活：\(\phi(\mathbf{v}) = a + \mathbf{v}'\mathbf{b}\)
- ReLU激活：\(\phi(\mathbf{v}) = \max(0, a + \mathbf{v}'\mathbf{b})\)
- Heaviside激活：\(\phi(\mathbf{v}) = 1_{a+\mathbf{v}'\mathbf{b}>0}\)
- 逻辑激活：\(\phi(\mathbf{v}) = (1 + \exp(-a - \mathbf{v}'\mathbf{b}))^{-1}\)
在生物启发的神经网络中，激活函数通常代表神经元的放电率。最简单的形式是二进制的：神经元要么放电，要么不放电，通过Heaviside阶跃函数建模。真实神经元不能以超过一定速率放电，这促使使用具有有限输出范围的sigmoid函数。具有正斜率的线性函数可以表示放电率随输入电流的增加。
径向激活函数
一类特殊的激活函数称为径向基函数（RBF），用于径向基函数网络。这些函数依赖于与中心向量\(\mathbf{c}\)的距离。常见形式包括：
- 高斯：\(\phi(\mathbf{v}) = \exp(-\|\mathbf{v} - \mathbf{c}\|^2 / (2\sigma^2))\)
- 多二次函数：\(\phi(\mathbf{v}) = \sqrt{\|\mathbf{v} - \mathbf{c}\|^2 + a^2}\)
- 逆多二次函数：\(\phi(\mathbf{v}) = (\|\mathbf{v} - \mathbf{c}\|^2 + a^2)^{-1/2}\)
- 多调和样条
这里，\(\sigma\)和\(a\)控制函数的扩展范围。
折叠激活函数
折叠激活函数聚合输入，例如取均值、最小值或最大值，并广泛用于池化层和多类分类的输出层。在后一种情况下，通常使用softmax激活来生成类别上的概率分布。
其他示例
周期函数可以作为激活函数，通常是正弦函数，因为任何周期函数都可以通过傅里叶变换分解为正弦函数。二次激活函数将\(x\)映射为\(x^2\)。
饱和与非饱和函数
如果激活函数\(f\)的梯度范数在输入幅度趋于无穷时趋于零，即\(\lim_{|v| \to \infty} |\nabla f(v)| = 0\)，则该函数是饱和的。如果此极限不为零，则是非饱和的。像ReLU这样的非饱和函数通常更受青睐，因为它们不太可能遭受梯度消失问题，该问题会阻碍深度网络的训练。
量子激活函数
在基于门模型量子计算机编程的量子神经网络中，基于量子感知器而非变分量子电路，激活函数的非线性可以在不测量每层每个感知器输出的情况下实现。通过创建感知器计算参数的泰勒级数展开，并使用合适的量子电路计算到所需次数的幂，可以保持叠加性质。这些量子电路可以被设计为近似任何任意的经典激活函数。
参见
- 逻辑函数
- 整流器（神经网络）
- 稳定性（学习理论）
- Softmax函数