Das ResNet-Papier, offiziell betitelt „Deep Residual Learning for Image Recognition“, wurde 2015 von Forschern bei Microsoft Research veröffentlicht. Es führte das Residuale Neuronale Netzwerk (ResNet) ein, eine Deep-Learning-Architektur, bei der Schichten Residualfunktionen in Bezug auf die Schichteingaben lernen. Das Papier gewann die ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2015 und erreichte eine Top-5-Fehlerrate von 3,57 %, womit es die menschliche Leistung auf diesem Benchmark übertraf. Seine zentrale Innovation, die Residualverbindung, wurde zu einem grundlegenden Motiv in nachfolgenden Neuronale-Netzwerk-Designs.
Eine Residualverbindung ist die architektonische Operation \(x \mapsto f(x) + x\), wobei \(f\) ein beliebiges neuronales Netzwerkmodul ist. Anstatt eine unreferenzierte Abbildung \(H(x)\) zu lernen, lernt das Netzwerk eine Residuum \(F(x) = H(x) - x\), wobei der Eingang \(x\) über eine Identitäts-Skip-Verbindung hinzugefügt wird. Dies stabilisiert Training und Konvergenz für Netzwerke mit Hunderten von Schichten, ein Problem, das zuvor die Tiefe aufgrund von verschwindenden Gradienten und Degradation begrenzt hatte. Die Idee hatte Präzedenzfälle in früheren Arbeiten, wie etwa Long Short-Term Memory (LSTM)-Zellen, die additive Speicherupdates ähnlich zu Residualpfaden verwenden, aber ResNet popularisierte das Motiv für Feedforward-Netzwerke.
Architektur und Residualblöcke
Ein Residualblock besteht aus einem Teilnetzwerk \(H(x; \alpha)\) mit Parametern \(\alpha\), typischerweise zwei oder drei gestapelten Faltungs- oder vollständig verbundenen Schichten, durchsetzt mit Aktivierungsfunktionen und Normalisierung (z. B. Batch-Normalisierung). Die Blockausgabe ist \(F(x) = H(x; \alpha) + x\). Tiefe Residualnetzwerke stapeln viele solcher Blöcke, mit Varianten wie ResNet-34, ResNet-50, ResNet-101 und ResNet-152, die die Schichtanzahl bezeichnen. Die 152-Schichten-Version gewann die ILSVRC 2015, und das Papier zeigte, dass tiefere Residualnetzwerke flachere Nicht-Residual-Gegenstücke übertrafen, entgegen früherer Beobachtungen einer Leistungssättigung.
Wenn sich Eingabe- und Ausgabedimensionen unterscheiden (\(F: \mathbb{R}^n \to \mathbb{R}^m\), \(n \neq m\)), wird eine Projektionsverbindung verwendet: \(y = F(x) + P(x)\), wobei \(P(x) = Mx\) eine gelernte lineare Projektionsmatrix \(M\) der Form \(m \times n\) ist, die über Backpropagation trainiert wird. Dies ermöglicht Residuallernen über Feature-Map-Größenänderungen hinweg, die in Faltungsnetzwerken beim Downsampling üblich sind.
Signalausbreitung und Trainingsstabilität
Die Identitätsabbildung in Residualverbindungen erleichtert die Signalausbreitung sowohl in Vorwärts- als auch in Rückwärtsrichtung. In der Vorwärtspropagation, wenn die Ausgabe von Block \(\ell\) die Eingabe für Block \(\ell+1\) ist (ohne dazwischenliegende Aktivierungen), dann ist \(x_{\ell+1} = F(x_\ell) + x_\ell\). Diese additive Struktur stellt sicher, dass Gradienten während der Backpropagation direkt zu früheren Schichten fließen können, wodurch das Problem verschwindender Gradienten gemildert wird. Das Papier zeigte, dass Residualnetzwerke mit Hunderten von Schichten effektiv trainiert werden konnten, während einfache tiefe Netzwerke mit zunehmender Tiefe unter erhöhtem Trainingsfehler litten.
Um die Varianz weiter zu stabilisieren, empfahl spätere Arbeit, Residualverbindungen als \(x/L + f(x)\) zu skalieren, wobei \(L\) die Gesamtzahl der Residualschichten ist, obwohl das ursprüngliche ResNet-Papier unskalierte Additionen verwendete. Diese Skalierung wurde in sehr tiefen Transformatoren und anderen Architekturen relevant.
Auswirkungen auf Deep Learning
Die Veröffentlichung von ResNet markierte einen Wendepunkt in der Künstliche-Intelligenz-Forschung und ermöglichte die Konstruktion viel tieferer Modelle. Die Residualverbindung wurde zu einem Standardbestandteil in zahlreichen Architekturen, einschließlich Transformer-Modellen wie BERT und GPT (z. B. Large-Language-Model-Systeme wie ChatGPT), sowie AlphaGo Zero, AlphaStar und AlphaFold von Google DeepMind. Das Motiv erscheint in scheinbar unzusammenhängenden Netzwerken, von Computervision bis zur Verarbeitung natürlicher Sprache, weil es die Optimierung vereinfacht und ein effektives Training sehr tiefer Stapel ermöglicht.
Das Papier beeinflusste auch die Hardware- und Softwareentwicklung, da das Training tieferer Modelle mehr Rechenleistung erforderte, was zum Aufstieg spezialisierter Beschleuniger wie AWS Trainium und Cloud-Diensten wie Azure und Google Cloud beitrug. Forschungsgruppen an der University of Toronto, dem Stanford AI Lab und dem MIT CSAIL übernahmen Residualnetzwerke in nachfolgenden Studien und festigten ihre Rolle in der modernen Machine-Learning-Praxis.
Vermächtnis und Anerkennung
Bis 2025 war das ResNet-Papier eines der am häufigsten zitierten in der Informatik geworden, mit Zehntausenden von Zitierungen. Seine Autoren, darunter Kaiming He, Xiangyu Zhang, Shaoqing Ren und Jian Sun, erhielten zahlreiche Auszeichnungen, einschließlich des IEEE Frank Rosenblatt Award 2023. Die Architektur bleibt eine Baseline für Bildklassifizierungsaufgaben, und ihre Prinzipien untermauern viele hochmoderne Systeme. Der Begriff „Residualverbindung“ ist nun Standardterminologie in Deep-Learning-Lehrbüchern und -Kursen, und die Erkenntnisse des Papiers über Identitätsabbildungen beeinflussen weiterhin die Forschung zu Netzwerktiefe und Trainierbarkeit.
Der Erfolg des Papiers weckte auch Interesse an noch tieferen Architekturen, was zu Innovationen wie DenseNet und ResNeXt führte, obwohl keine die grundlegende Residualidee verdrängte. Ab 2025 sind Residualverbindungen allgegenwärtig in Produktions-KI-Systemen, von den Modellen von OpenAI bis zu Claude von Anthropic, was die anhaltende Wirkung der Arbeit von 2015 demonstriert.