残差ニューラルネットワークは、一般にResNetとして知られ、層の入力をその出力に加算するスキップ接続を導入することで、非常に深いニューラルネットワークの学習を可能にする深層学習アーキテクチャの一種である。このアーキテクチャは2015年に画像認識用に開発され、同年のImageNet Large Scale Visual Recognition Challenge（ILSVRC）で優勝した。重要な革新は残差接続であり、層が層入力に対する残差関数を学習できるようにし、学習を安定化させ、数百層からなるネットワークを可能にした。
残差接続のモチーフは \(x \mapsto f(x) + x\) と定義され、初期のモデルでも使用されていたが、ResNetの発表によりフィードフォワードネットワークで広く普及した。それ以来、BERTやGPTなどのトランスフォーマーモデル、ならびにAlphaGo Zero、AlphaStar、AlphaFoldなどのシステムを含む、多くの深層ニューラルネットワークアーキテクチャの一般的な構成要素となっている。
数学
残差接続
多層ニューラルネットワークにおいて、いくつかの層を積み重ねたサブネットワークを考え、それを \(H(x; \alpha)\) と表す。ここで \(x\) は入力、\(\alpha\) はパラメータである。標準的な学習では、サブネットワークは所望の出力 \(H^\) を近似することを目指す。残差学習は、サブネットワークが \(F(x; \alpha) = H(x; \alpha) + x\) を出力するように修正し、最適な学習関数が \(H^ - x\) となるようにする。これは \(x\) に対する残差として解釈される。\(x\) の加算は、サブネットワークの入力をその出力に直接接続する恒等写像を実行するスキップ接続を介して実装される。このスキップ接続は残差接続と呼ばれる。サブネットワークはスキップ接続とともに残差ブロックを形成する。深い残差ネットワークは、そのようなブロックを複数積み重ねることで構築される。
残差接続は勾配の流れを促進することで学習を安定化させ、これは数百層からなるネットワークにとって特に重要である。長短期記憶（LSTM）ネットワークには、残差接続として機能する記憶メカニズムがある。忘却ゲートのないLSTMでは、更新規則は \(c_{t+1} = c_t + F(x_t)\) であり、ここで \(c_t\) は記憶セル、\(F\) は入力の関数である。忘却ゲートを備えたLSTMは、ハイウェイネットワークと同様に機能する。分散を安定化させるには、残差接続を \(1/L\) でスケーリングすることが推奨される。ここで \(L\) は残差層の総数であり、\(x/L + f(x)\) となる。
射影接続
関数 \(F\) が \(\mathbb{R}^n\) から \(\mathbb{R}^m\) への写像であり、\(n \neq m\) の場合、加算 \(F(x) + x\) は未定義である。そのような場合、射影接続が使用される。\(y = F(x) + P(x)\) であり、ここで \(P\) は通常 \(P(x) = Mx\) で定義される線形射影であり、\(M\) は \(m \times n\) 行列である。行列 \(M\) は、モデルの他のパラメータとともにバックプロパゲーションによって学習される。
信号伝播
残差接続における恒等写像は、順方向および逆方向の両方の信号伝播を促進する。順方向パスでは、\(\ell\) 番目の残差ブロックの出力が \((\ell+1)\) 番目のブロックへの入力である場合（ブロック間に活性化がないと仮定）、次のブロックへの入力は \(x_{\ell+1} = F(x_\ell) + x_\ell\) となる。この加法的構造により、情報がネットワークを直接通過でき、勾配消失問題を軽減する。
深層学習への影響
2015年のResNetの導入は、深層学習における重要なマイルストーンとなった。ResNet以前は、深いネットワークの学習は、深さが増すにつれて精度が低下するという劣化の問題により困難であった。ResNetの残差学習フレームワークは、層を残差関数の学習として再定式化することでこれを解決し、最適化が容易になった。このアーキテクチャはILSVRC 2015チャレンジで最先端の結果を達成し、ImageNetテストセットで3.57%のエラー率を記録し、一部のタスクで人間レベルのパフォーマンスを上回った。
ResNetの成功は、ResNet-50、ResNet-101、ResNet-152などのさらに深いアーキテクチャの開発を促進し、これらは物体検出やセグメンテーションなどのコンピュータビジョンタスクでバックボーンネットワークとして広く使用されている。残差接続の概念は、自然言語処理や強化学習など、他のさまざまな領域でも採用されている。
遺産と影響
残差接続は、現代のニューラルネットワーク設計における基本的な構成要素となっている。これは、GPTやBERTなどの大規模言語モデルを支えるトランスフォーマーアーキテクチャの重要な構成要素である。この手法は、AlphaGo Zero、AlphaStar、AlphaFoldなどのシステムでも使用されており、さまざまな種類のニューラルネットワークにわたるその汎用性を示している。
「Deep Residual Learning for Image Recognition」と題されたResNet論文の発表は、Kaiming He、Xiangyu Zhang、Shaoqing Ren、Jian Sunによって著された。これはコンピュータビジョンと深層学習で最も引用された論文の1つとなり、ネットワークアーキテクチャと学習安定性に関するその後の研究に影響を与えた。