ディープ残差学習（Deep Residual Learning）は、一般にResNetとして知られ、2015年に画像認識用に導入された深層学習アーキテクチャである。同年のImageNet Large Scale Visual Recognition Challenge（ILSVRC）で優勝し、数百層からなるネットワークが効果的に訓練できることを実証した。主要な革新は残差接続であり、これにより層が入力に対する残差関数を学習できるようになり、非常に深いニューラルネットワークにおける訓練と収束が安定化した。
残差接続のモチーフは、\(x \mapsto f(x) + x\)（ここで\(f\)は任意のニューラルネットワークモジュール）と定義され、以前の研究でも使用されていたが、ResNetの発表によりフィードフォワードネットワークで広く普及した。このモチーフは現在、ResNetとは一見無関係な多くのアーキテクチャに現れており、BERTやGPTなどのトランスフォーマーモデル、さらにはAlphaGo Zero、AlphaStar、AlphaFoldなどのシステムにも含まれている。
残差接続の数学
多層ニューラルネットワークにおいて、積層された層（例えば2層または3層）からなるサブネットワークを考える。\(H(x; \alpha)\)をサブネットワークとし、ここで\(x\)は入力、\(\alpha\)はパラメータの集合である。\(H^\)が望ましい最適出力である場合、残差学習は\(x\)を出力に直接加えるため、学習される最適出力は\(H^ - x\)となり、これは\(x\)に対する「残差」として解釈される。これは、サブネットワークの入力から出力への恒等写像を実行するスキップ接続を介して実装される。
関数\(F(x; \alpha) = H(x; \alpha) + x\)は、しばしば活性化関数とバッチ正規化や層正規化などの正規化操作が交互に挟まれた行列乗算で表される。残差ブロックはそのようなサブネットワークの1つであり、深い残差ネットワークはこれらのブロックを積層することで構築される。
長短期記憶（LSTM）ネットワークには、残差接続として機能するメモリ機構がある。忘却ゲートのないLSTMでは、入力\(x_t\)が関数\(F\)によって処理され、メモリセル\(c_t\)に加算され、\(c_{t+1} = c_t + F(x_t)\)となる。忘却ゲート付きのLSTMは、本質的にハイウェイネットワークとして機能する。
層入力の分散を安定化するには、残差接続\(x + f(x)\)を\(x/L + f(x)\)に置き換えることが推奨される。ここで\(L\)は残差層の総数である。
射影接続
関数\(F\)が\(\mathbb{R}^n\)から\(\mathbb{R}^m\)（\(n \neq m\)）への写像である場合、式\(F(x) + x\)は未定義となる。この場合、射影接続が使用される：\(y = F(x) + P(x)\)。ここで\(P\)は通常、\(P(x) = Mx\)で定義される線形射影であり、\(M\)は\(m \times n\)行列である。行列\(M\)は、他のモデルパラメータと同様に誤差逆伝播法によって訓練される。
信号伝播
恒等写像の導入は、前方および後方経路の両方での信号伝播を容易にする。前方方向では、\(\ell\)番目の残差ブロックの出力が\((\ell+1)\)番目のブロックの入力である場合（ブロック間の活性化がないと仮定）、次のブロックへの入力は\(x_{\ell+1} = F(x_\ell) + x_\ell\)となる。この加法的構造により、誤差逆伝播中に勾配がネットワークを直接流れることが可能になり、以前の深いアーキテクチャを悩ませた勾配消失問題を軽減する。
影響と遺産
ILSVRC 2015でのResNetの成功は、コンピュータビジョンと人工知能における転換点となった。これにより、以前は訓練精度の低下のために実現不可能だった数百層のネットワークの訓練が可能になった。残差接続は以来、自然言語処理や生成AIで使用されるものを含む、多くの深層学習モデルにおける標準的なコンポーネントとなっている。
このアーキテクチャの影響は画像認識を超えて広がっている。残差接続は、現代の大規模言語モデルやその他のシーケンスベースのモデルに不可欠であり、多くの層にわたって安定した訓練を維持するのに役立っている。完全な変換ではなく残差を学習するという原理は、U-Netやその他のエンコーダ・デコーダ設計などのバリエーションにも影響を与えている。
ResNetは深層学習における基礎的な参照であり続け、その設計原理は機械学習分野のコースで教えられ、研究に応用されている。残差接続の単純さと有効性は、この分野への最も永続的な貢献の1つとなっている。