ResNet論文は、正式には「Deep Residual Learning for Image Recognition」と題され、2015年にマイクロソフトリサーチの研究者らによって発表されました。この論文は、層が層入力に対する残差関数を学習するDeep learningアーキテクチャである残差ニューラルネットワーク（ResNet）を導入しました。この論文は2015年のImageNet Large Scale Visual Recognition Challenge（ILSVRC）で優勝し、トップ5エラー率3.57%を達成し、そのベンチマークで人間レベルの性能を上回りました。その中心的な革新である残差接続は、その後のNeural network設計における基礎的なモチーフとなりました。
残差接続とは、\(x \mapsto f(x) + x\)というアーキテクチャ上の操作であり、ここで\(f\)は任意のニューラルネットワークモジュールです。ネットワークは参照されない写像\(H(x)\)を学習する代わりに、入力\(x\)が恒等スキップ接続を介して加算される残差\(F(x) = H(x) - x\)を学習します。これにより、数百層からなるネットワークの訓練と収束が安定化され、これは以前は勾配消失や劣化により層の深さが制限されていた問題でした。このアイデアには、加算的なメモリ更新を残差経路と同様に使用する長短期記憶（LSTM）セルなど、初期の研究における前例がありましたが、ResNetはこのモチーフをフィードフォワードネットワーク向けに普及させました。
アーキテクチャと残差ブロック
残差ブロックは、パラメータ\(\alpha\)を持つサブネットワーク\(H(x; \alpha)\)で構成され、通常は2つまたは3つの積み重ねられた畳み込み層または全結合層で、活性化関数と正規化（例：バッチ正規化）が間に挟まれます。ブロック出力は\(F(x) = H(x; \alpha) + x\)です。深い残差ネットワークはこのようなブロックを多数積み重ね、ResNet-34、ResNet-50、ResNet-101、ResNet-152などのバリアントは層数を示します。152層バージョンはILSVRC 2015で優勝し、論文は、以前の性能飽和の観察に反して、より深い残差ネットワークが浅い非残差ネットワークよりも優れていることを実証しました。
入力と出力の次元が異なる場合（\(F: \mathbb{R}^n \to \mathbb{R}^m\)、\(n \neq m\)）、射影接続が使用されます：\(y = F(x) + P(x)\)。ここで\(P(x) = Mx\)は、形状\(m \times n\)の学習された線形射影行列\(M\)であり、バックプロパゲーションを介して訓練されます。これにより、畳み込みネットワークでダウンサンプリング時に一般的な特徴マップサイズの変更にわたる残差学習が可能になります。
信号伝播と訓練安定性
残差接続における恒等写像は、順方向と逆方向の両方で信号伝播を促進します。順方向伝播では、ブロック\(\ell\)の出力がブロック\(\ell+1\)の入力である場合（介在する活性化なし）、\(x_{\ell+1} = F(x_\ell) + x_\ell\)となります。この加算構造により、バックプロパゲーション中に勾配が直接初期層に流れることが保証され、勾配消失問題を軽減します。論文は、数百層からなる残差ネットワークが効果的に訓練できる一方、通常の深いネットワークは深さが増すにつれて訓練エラーが増加することを示しました。
分散をさらに安定化するために、後の研究では残差接続を\(x/L + f(x)\)としてスケーリングすることを推奨しました。ここで\(L\)は残差層の総数ですが、元のResNet論文ではスケーリングなしの加算を使用していました。このスケーリングは、非常に深いトランスフォーマーや他のアーキテクチャで関連性を持つようになりました。
深層学習への影響
ResNetの発表はArtificial intelligence研究の転換点となり、より深いモデルの構築を可能にしました。残差接続は、BERTやGPTなどのTransformer (architecture)モデル（例：ChatGPTなどのLarge language modelシステム）、およびGoogle DeepMindのAlphaGo Zero、AlphaStar、AlphaFoldを含む多くのアーキテクチャで標準的なコンポーネントとなりました。このモチーフは、Computer visionから自然言語処理まで、一見無関係なネットワークに現れます。なぜなら、最適化を簡素化し、非常に深いスタックの効果的な訓練を可能にするからです。
この論文はハードウェアとソフトウェアの開発にも影響を与え、より深いモデルの訓練にはより多くの計算が必要となり、AWS Trainiumのような専門アクセラレータやMicrosoft AzureやGoogle Cloudなどのクラウドサービスの台頭に貢献しました。University of Toronto、Stanford AI Lab、MIT CSAILの研究グループはその後の研究で残差ネットワークを採用し、現代のMachine learning実践におけるその役割を確固たるものにしました。
遺産と認知
2025年までに、ResNet論文はコンピュータサイエンスで最も引用された論文の1つとなり、数万件の引用を受けました。著者であるKaiming He、Xiangyu Zhang、Shaoqing Ren、Jian Sunは、2023年のIEEE Frank Rosenblatt Awardを含む多くの賞を受賞しました。このアーキテクチャは画像分類タスクのベースラインとして残り、その原理は多くの最先端システムの基盤となっています。「残差接続」という用語は現在、深層学習の教科書やコースで標準的な用語であり、恒等写像に関する論文の洞察は、ネットワークの深さと訓練可能性に関する研究に影響を与え続けています。
この論文の成功はまた、さらに深いアーキテクチャへの関心を刺激し、DenseNetやResNeXtなどの革新につながりましたが、基本的な残差アイデアを置き換えたものはありませんでした。2025年現在、残差接続はOpenAIのモデルからAnthropicのClaudeまで、本番AIシステムで遍在しており、2015年の研究の永続的な影響を示しています。