Sigmoid函数是指其图形具有特征性S形或Sigmoid曲线的任何数学函数。在数学中，Sigmoid函数是有界的、可微的，并且对所有实数输入值有定义，且在每个点上具有正导数。该术语最常与逻辑函数相关联，后者将任何实数映射到0和1之间的值，但它也包含用于统计学、工程学和机器学习中的更广泛的曲线族。
在人工智能和神经网络模型的背景下，术语“Sigmoid函数”经常被用作逻辑函数的同义词。该函数在早期深度学习架构中作为激活函数发挥了基础性作用，尽管在许多现代系统中它已被诸如修正线性单元等替代方案大幅取代。Sigmoid曲线在统计学中也自然出现为累积分布函数，包括从正态分布和学生t分布导出的那些。
定义与性质
Sigmoid函数是一个有界的、可微的实函数，对所有实数输入有定义，且在每个点上具有正导数。其图形受一对水平渐近线约束，当输入接近正或负无穷时。该函数是单调的，通常递增，其一阶导数为钟形。相反，任何连续的、非负的、具有单一局部最大值的钟形函数的积分会产生Sigmoid曲线。
Sigmoid函数在特定拐点以下的值处是凸的，在拐点以上的值处是凹的；在许多常见示例中，该点在零点处。例如，逻辑函数在x = 0处有拐点，其值为0.5。双曲正切函数是另一种广泛使用的Sigmoid函数，其范围从-1到1，并且关于原点对称。
示例与变体
常见的Sigmoid函数包括逻辑函数、双曲正切（tanh）、反正切函数和误差函数。逻辑函数定义为 f(x) = 1 / (1 + e^(-x))，产生开区间 (0, 1) 内的输出。双曲正切函数 tanh(x) = (e^x - e^(-x)) / (e^x + e^(-x)) 将输入映射到 (-1, 1)，并且在深度学习中通常更受青睐，因为其输出是零中心的，这可以改善训练期间的收敛性。
特殊情况包括Gompertz曲线，用于建模在x值较大时饱和的系统，以及ogee曲线，应用于某些大坝的溢洪道设计。Heaviside阶跃函数在0和1之间瞬时过渡，是Sigmoid行为的极限情况。在统计学中，Sigmoid曲线作为累积分布函数，例如逻辑密度、正态密度和学生t概率密度函数的积分。
在神经网络中的作用
自机器学习早期以来，Sigmoid函数，特别是逻辑和双曲正切变体，已被用作人工神经元的激活函数。激活函数将非线性引入神经网络，使其能够学习复杂模式。逻辑Sigmoid的输出范围 (0, 1) 使其自然适合概率解释，例如预测二元结果的可能性。
然而，逻辑Sigmoid存在梯度消失问题：对于大的正或负输入，其导数趋近于零，这可能在深层网络中减慢或停止训练。这一限制推动了替代方案的发展，如修正线性单元（ReLU）及其变体，这些现在在大多数变换器架构中已成为标准，包括用于大型语言模型系统的那些。尽管发生了这种转变，Sigmoid函数在特定背景下仍然重要，例如二元分类器的输出层和循环网络内的门控机制。
逻辑Sigmoid是可逆的，其逆函数是logit函数，它将概率映射回实数线。这一性质支撑了逻辑回归，这是一种基本统计技术，连接了机器学习和经典统计学。
理论分类
由研究员Grebenc提出的数学理论将单位Sigmoid函数根据其渐近行为和在渐近线附近的振荡分为三类。单位Sigmoid函数被归一化到单位范围，通常具有0和1的下渐近线和上渐近线，并可以表示为一般形式 y = A * S(f(x)) + B，其中S是递增的Sigmoid函数，f(x)是自变量的变换，A和B控制缩放和平移。
第一类函数在接近其渐近线时单调无振荡，包括逻辑函数和相关推广。第二类函数在上渐近线附近振荡，同时保持整体Sigmoid过渡。第三类函数在下和上渐近线附近均振荡。该理论还列出了30种生成Sigmoid函数的构造方法，范围从代数变换和钟形函数积分到微分方程的解、递归方案和混沌系统。这些方法为设计具有定制性质的Sigmoid曲线提供了系统框架，用于人工智能和其他领域的特定应用。
超越AI的应用
Sigmoid函数扩展到神经网络激活之外。在控制理论和工程中，它们建模物理系统中的饱和效应。在生物学中，Gompertz曲线描述生长过程，如肿瘤生长或种群动态。在经济学中，Sigmoid曲线表示新技术随时间的采用。S形曲线在两个状态之间平滑过渡的多功能性，使其成为跨学科的基本工具，从施乐帕克时代的计算研究到承载深度学习工作负载的现代亚马逊云服务云基础设施。