残差神经网络，亦称残差网络或ResNet，是一种深度学习架构，其中各层学习相对于其输入的残差函数。该架构于2015年为图像识别而开发，并在同年的ImageNet大规模视觉识别挑战赛（ILSVRC）中获胜。其关键创新在于残差连接，这是一种将子网络的输入与其输出相加的架构设计，从而使得数百层深的网络训练成为可能。
残差连接稳定了深度神经网络中的训练与收敛过程，使其成为现代架构中的常见设计，例如Transformer (architecture)模型（如BERT和GPT系列，包括ChatGPT），以及AlphaGo Zero、AlphaStar和AlphaFold等系统。其影响超越了图像识别领域，延伸至Deep learning的多个方面。
残差连接的数学原理
在多层的神经网络中，考虑一个由堆叠层组成的子网络（例如2层或3层）。设\(H(x; \alpha)\)为该子网络，其中\(x\)为输入，\(\alpha\)为参数集。若\(H^\)为期望的最优输出，残差学习通过将\(x\)直接加到输出上，使得最优学习目标变为\(H^ - x\)，即相对于\(x\)的“残差”。这一加法操作通过跳跃连接实现，该连接执行恒等映射，将子网络的输入直接连接到其输出。这种连接后来被称为“残差连接”。
函数\(F(x; \alpha) = H(x; \alpha) + x\)通常由矩阵乘法与激活函数及归一化操作（如批归一化或层归一化）交错构成。这样的子网络被称为“残差块”，而深度残差网络则由多个残差块堆叠而成。
长短期记忆网络（LSTM）具有一种充当残差连接的记忆机制。在无遗忘门的LSTM中，输入\(x_t\)经\(F\)处理后与记忆单元\(c_t\)相加，得到\(c_{t+1} = c_t + F(x_t)\)。而带遗忘门的LSTM则本质上类似于高速公路网络。
为了稳定各层输入的方差，建议将残差连接\(x + f(x)\)替换为\(x/L + f(x)\)，其中\(L\)为残差连接的总数。
投影连接
当函数\(F\)将\(\mathbb{R}^n\)映射到\(\mathbb{R}^m\)且\(n \neq m\)时，表达式\(F(x) + x\)未定义。为解决此问题，可使用投影连接：\(y = F(x) + P(x)\)，其中\(P\)通常为线性投影，定义为\(P(x) = Mx\)，\(M\)为\(m \times n\)矩阵。该矩阵与其他参数一样通过反向传播进行训练。
信号传播
恒等映射的引入促进了前向和反向路径中的信号传播。在前向传播中，若第\(\ell\)个残差块的输出是第\((\ell+1)\)个残差块的输入（假设块间无激活函数），则下一个输入为\(x_{\ell+1} = F(x_\ell) + x_\ell\)。这种加法结构使得梯度能够直接流过网络，缓解了早期深层网络中常见的梯度消失问题。
历史背景与发展
残差连接的设计思想在ResNet之前已有应用，例如在LSTM和高速公路网络中。然而，ResNet于2015年的发表使其在前馈网络中广泛流行，并应用于看似与图像识别无关的架构中。ResNet原论文由Kaiming He、Xiangyu Zhang、Shaoqing Ren和Jian Sun撰写，提出了用于图像识别的深度残差学习，并在ILSVRC 2015上取得了最先进的成果。
对深度学习的影响
ResNet的成功证明了极深网络可以被有效训练，从而推动了Neural network设计的转变。残差连接成为后续架构中的标准组件，包括Transformer (architecture)模型及Large language model。例如，BERT和GPT模型依赖残差连接来训练深层Transformer。AlphaGo Zero和AlphaFold等系统也采用了残差块，展示了该设计的广泛适用性。
变体与扩展
残差网络已有多种变体被提出。预激活ResNet将批归一化和激活函数移至权重层之前，改善了训练效果。宽ResNet通过增加宽度而非深度，以更少的层数获得更好的性能。DenseNet将每一层与后续所有层连接，在残差思想基础上进一步发展。ResNeXt引入基数（cardinality），将卷积拆分为并行路径，凸显了残差概念的灵活性。
实际考量
在实践中，残差连接通常通过跳跃连接实现，当维度变化时可包含投影矩阵。批归一化等归一化技术常应用于残差块内部。激活函数的选择（如ReLU）会影响训练动态。残差连接还支持使用更高的学习率，并降低对初始化方式的敏感性，从而保持信号方差的稳定。
遗产与未来方向
残差网络已成为Deep learning中的基础概念，影响了学术研究与工业应用。其原理已嵌入现代框架和硬件优化中。截至2020年代初，残差连接仍是许多架构的默认选择，包括用于Generative AI和Artificial intelligence系统的架构。学习残差的思想也启发了其他领域，如Machine learning理论和优化方法。