在人工神经网络中，隐藏层是位于输入层和输出层之间的一层人工神经元。术语“隐藏”反映了这些层不直接与外部环境交互，其激活是网络内部的。包含隐藏层的最简单架构是多层感知器（MLP），其中隐藏层中的每个神经元接收来自前一层的加权输入，应用激活函数，并将其输出传递到下一层。
没有隐藏层的网络，如单层感知器，本质上是一个线性模型。它只能分离线性可分的数据。添加一个或多个隐藏层，结合非线性激活函数，将非线性引入模型。这使得网络能够逼近复杂的非线性函数，这是现代机器学习和深度学习应用的基础。
在学习与训练中的作用
在典型的机器学习实践中，所有层（包括隐藏层）的权重和偏置都会被初始化，通常使用随机值或采用权重初始化等方案。在训练期间，这些参数通过反向传播迭代更新，该方法计算损失函数相对于每个参数的梯度。隐藏层逐步学习输入数据的中间表示，将原始特征转换为更抽象、更有用的形式，以供最终输出使用。
网络的深度，由隐藏层的数量定义，是其容量的关键因素。具有许多隐藏层的深度网络可以捕获分层特征，如神经网络架构在图像识别或自然语言处理中的应用所示。然而，更深的网络也引入了诸如梯度消失等挑战，这些挑战已通过批归一化、层归一化和残差网络连接等技术得到解决。
类型与变体
隐藏层可以根据网络架构的不同而有所变化。在全连接层中，每个神经元连接到前一层的所有神经元，这在MLP中很常见。卷积层用于图像任务，局部应用滤波器并共享权重。循环层存在于序列模型中，跨时间步保持内部状态。在Transformer模型中，隐藏层通常包括多头注意力机制和前馈子层，支持序列的并行处理。
还存在专门的隐藏层，例如用于生物医学图像分割的U-Net中的隐藏层，它结合了下采样和上采样路径。激活函数（如ReLU或sigmoid）的选择以及每个隐藏层的神经元数量是显著影响性能的超参数。像丢弃这样的正则化方法通常应用于隐藏层以防止过拟合。
历史背景
早期关于神经网络的工作，包括感知器，不包含隐藏层，限制了其适用性。20世纪80年代，隐藏层和反向传播算法的引入，特别是由伯纳德·威德罗等研究人员推动，使得多层网络的训练成为可能。这为后来的深度学习进展奠定了基础。多伦多大学和斯坦福人工智能实验室等机构为理论和实践发展做出了贡献，而诺基亚贝尔实验室和施乐帕克的早期硬件努力探索了实现方式。
实际考虑
设计隐藏层涉及权衡。神经元或层数过少可能导致欠拟合，而过多则可能导致过拟合和高计算成本。像模型剪枝这样的技术减少了训练网络中的冗余，而数据增强有助于提高泛化能力。在大规模系统中，隐藏层通常分布在诸如AWS Trainium或谷歌云TPU等专用硬件上，OpenAI、Anthropic和谷歌DeepMind等公司推动了大型语言模型中隐藏层规模的扩展。
隐藏层也是可解释性研究的核心。可视化隐藏层中神经元激活的方法帮助研究人员理解网络学习了哪些特征，从早期层的简单边缘到更深层的复杂对象。这仍然是一个活跃的研究领域，迈克尔·乔丹和阿尼玛·阿南德库马尔等学者做出了贡献。
未来方向
随着模型的发展，隐藏层正变得更加专业化和高效。稀疏架构、专家混合和动态路由是新兴趋势。对替代训练方法的研究，如课程学习和基于人类反馈的强化学习，可能减少对传统反向传播的依赖。隐藏层的持续演进对于推进人工智能能力至关重要，涵盖从Waymo的自动驾驶到医疗诊断等领域。