Eine Residualverbindung ist ein grundlegendes Architekturmotiv im Deep Learning, bei dem die Eingabe einer Schicht direkt zu ihrer Ausgabe addiert wird, sodass das Netzwerk Residualfunktionen anstelle der vollständigen Transformation lernen kann. Formal berechnet die Residualverbindung für eine Eingabe \(x\) und ein Subnetzwerk \(f\) den Ausdruck \(f(x) + x\). Diese einfache Addition stabilisiert das Training und ermöglicht die Konstruktion neuronaler Netze mit Hunderten oder sogar Tausenden von Schichten, die andernfalls unter Degradation und verschwindenden Gradienten leiden würden. Das Konzept wurde 2015 durch die Residualnetzwerk-Architektur (ResNet) populär gemacht, die in jenem Jahr die ImageNet Large Scale Visual Recognition Challenge (ILSVRC) gewann, und ist seitdem zu einem allgegenwärtigen Bestandteil moderner Deep-Learning-Systeme geworden, einschließlich Transformer-Modellen und Large-Language-Modellen.
Der Begriff „Residualverbindung“ bezieht sich speziell auf die Abbildung \(x \mapsto f(x) + x\), wobei \(f\) ein beliebiges neuronales Netzwerkmodul ist. Obwohl das Motiv in früheren Arbeiten, wie etwa in Long Short-Term Memory (LSTM)-Netzwerken, verwendet wurde, machte die Veröffentlichung von ResNet es für Feedforward-Netzwerke weit verbreitet. Heute erscheinen Residualverbindungen in Architekturen, die scheinbar nichts mit ResNet zu tun haben, darunter Generative-KI-Modelle, neuronale-Netzwerk-Systeme zur Bilderkennung und Machine-Learning-Anwendungen in verschiedenen Bereichen.
Mathematik der Residualverbindungen
In einem mehrschichtigen neuronalen Netzwerk betrachten wir ein Subnetzwerk mit gestapelten Schichten (z. B. 2 oder 3 Schichten), das eine Eingabe \(x\) auf eine Ausgabe \(H(x; \alpha)\) abbildet, wobei \(\alpha\) die Parameter darstellt. Ohne Residualverbindungen muss das Subnetzwerk die gewünschte optimale Ausgabe \(H^\) direkt lernen. Mit einer Residualverbindung lernt das Subnetzwerk den Residuum \(H^ - x\), und die endgültige Ausgabe ist \(F(x; \alpha) = H(x; \alpha) + x\). Diese Reparametrisierung erleichtert es dem Netzwerk, Identitätsabbildungen zu lernen, da das Subnetzwerk nur die Abweichung von der Eingabe anpassen muss.
Die Operation wird über eine „Skip-Verbindung“ implementiert, die eine Identitätsabbildung durchführt und die Eingabe des Subnetzwerks direkt mit seiner Ausgabe verbindet. Diese Skip-Verbindung wird als Residualverbindung bezeichnet. Die Funktion \(F\) wird typischerweise durch Matrixmultiplikationen dargestellt, die mit Aktivierungsfunktionen und Normalisierungsoperationen wie Batch-Normalisierung oder Layer-Normalisierung verschachtelt sind. Ein Residualblock ist ein solches Subnetzwerk mit seiner Skip-Verbindung, und ein tiefes Residualnetzwerk wird durch das Stapeln dieser Blöcke konstruiert.
Projektionsverbindungen
Wenn das Subnetzwerk \(F\) die Dimensionalität der Eingabe ändert, sodass \(F: \mathbb{R}^n \to \mathbb{R}^m\) mit \(n \neq m\) gilt, ist die Addition \(F(x) + x\) undefiniert. In diesem Fall wird eine Projektionsverbindung verwendet: \(y = F(x) + P(x)\), wobei \(P\) typischerweise eine lineare Projektion ist, die durch \(P(x) = Mx\) definiert ist, wobei \(M\) eine \(m \times n\)-Matrix ist. Diese Projektionsmatrix wird wie jeder andere Parameter im Modell durch Backpropagation trainiert. Projektionsverbindungen ermöglichen die Anwendung von Residualarchitekturen über Schichten mit unterschiedlichen Breiten oder Kanalanzahlen hinweg, was in Faltungsnetzwerken wie ResNet beim Übergang zwischen Stufen üblich ist.
Signalausbreitung
Die Einführung von Identitätsabbildungen in Residualverbindungen erleichtert die Signalausbreitung sowohl im Vorwärts- als auch im Rückwärtspfad, was der Schlüssel zu ihrer Wirksamkeit beim Training tiefer Netzwerke ist.
Vorwärtsausbreitung
Wenn die Ausgabe des \(\ell\)-ten Residualblocks die Eingabe des \((\ell+1)\)-ten Residualblocks ist (unter der Annahme, dass keine Aktivierungsfunktion zwischen den Blöcken liegt), dann ist die Eingabe zum nächsten Block \(x_{\ell+1} = F(x_\ell) + x_\ell\). Diese rekursive Beziehung bedeutet, dass das Signal aus früheren Schichten durch die Identitätsabbildungen direkt zu späteren Schichten fließen kann, wodurch die Degradation von Informationen vermieden wird, die in nicht-residualen Netzwerken auftritt. Über \(L\) Blöcke kann die Ausgabe als \(x_L = x_0 + \sum_{i=0}^{L-1} F(x_i)\) ausgedrückt werden, was zeigt, dass die anfängliche Eingabe immer in der endgültigen Ausgabe vorhanden ist.
Rückwärtsausbreitung
Während der Backpropagation ist der Gradient des Verlusts bezüglich der Eingabe eines Residualblocks \(\frac{\partial \mathcal{L}}{\partial x_\ell} = \frac{\partial \mathcal{L}}{\partial x_{\ell+1}} \left(1 + \frac{\partial F}{\partial x_\ell}\right)\). Der Term \(1\) stellt sicher, dass der Gradient ohne Verschwinden durch die Identitätsabbildung zurückfließen kann, selbst wenn das Subnetzwerk \(F\) kleine oder Null-Gradienten aufweist. Dies verhindert das Problem verschwindender Gradienten, das sehr tiefe nicht-residuale Netzwerke plagt, und ermöglicht das effektive Training von Architekturen mit Hunderten von Schichten.
Historische Entwicklung
Das Residualverbindungsmotiv geht ResNet voraus. Das 1997 eingeführte LSTM verfügt über einen Speicherzellenmechanismus, der als Residualverbindung dient: Eine Eingabe \(x_t\) wird von einer Funktion \(F\) verarbeitet und zur Speicherzelle \(c_t\) addiert, was zu \(c_{t+1} = c_t + F(x_t)\) führt. Ein LSTM mit einem Vergessens-Gate fungiert im Wesentlichen als Highway-Netzwerk, eine weitere frühe Variante von gegateden Residualverbindungen. Es war jedoch das ResNet-Papier von 2015 durch Forscher bei Microsoft (darunter Kaiming He, Xiangyu Zhang, Shaoqing Ren und Jian Sun), das die Leistungsfähigkeit von Residualverbindungen für sehr tiefe Feedforward-Netzwerke demonstrierte. ResNet gewann die ILSVRC 2015 mit einer Fehlerrate von 3,57 % auf dem ImageNet-Datensatz und übertraf damit erstmals die Leistung auf menschlichem Niveau.
Auswirkungen auf das Deep Learning
Residualverbindungen hatten eine transformative Wirkung auf künstliche Intelligenz und Deep Learning. Sie ermöglichten die Entwicklung von Netzwerken mit beispielloser Tiefe, wie ResNet-152 mit 152 Schichten, das zuvor nicht effektiv trainierbar war. Der Erfolg von ResNet in der Bilderkennung führte zur schnellen Übernahme von Residualverbindungen in anderen Bereichen, einschließlich der Verarbeitung natürlicher Sprache und Verstärkungslernen.
In Transformer-Modellen sind Residualverbindungen eine Kernkomponente. Die ursprüngliche Transformer-Architektur, die 2017 eingeführt wurde, verwendet Residualverbindungen um jede Unterschicht (z. B. Multi-Head-Attention und Feedforward-Netzwerke), gefolgt von Layer-Normalisierung. Dieses Design wird in Modellen wie BERT und der GPT-Serie verwendet, einschließlich der von OpenAI entwickelten. Die durch Residualverbindungen bereitgestellte Stabilität ist für das Training dieser Modelle, die Hunderte von Schichten und Milliarden von Parametern haben können, unerlässlich.
Residualverbindungen erscheinen auch in anderen bemerkenswerten Systemen. Das von Google DeepMind entwickelte AlphaGo-Zero-System verwendet Residualnetzwerke in seinen neuronalen Netzen, um das Spiel Go zu meistern. AlphaStar, das Großmeisterniveau in StarCraft II erreichte, und AlphaFold, das Proteinstrukturen vorhersagt, integrieren ebenfalls Residualverbindungen. Diese Anwendungen demonstrieren die Vielseitigkeit des Motivs über verschiedene Arten von neuronalen Netzwerkarchitekturen hinweg.
Varianten und Verbesserungen
Mehrere Varianten von Residualverbindungen wurden vorgeschlagen, um die Trainingsstabilität und Leistung weiter zu verbessern. Eine Empfehlung besteht darin, die Residualverbindung \(x + f(x)\) durch \(x/L + f(x)\) zu ersetzen, wobei \(L\) die Gesamtzahl der Residualschichten ist. Diese Skalierung hilft, die Varianz der Schichteingaben zu stabilisieren, was besonders in sehr tiefen Netzwerken wichtig ist. Diese Technik wird in einigen modernen Transformer-Implementierungen wie GPT-2 verwendet, wo der Residualstrom um \(1/\sqrt{L}\) skaliert wird.
Eine weitere Variante ist der Pre-Activation-Residualblock, bei dem die Aktivierungsfunktion (z. B. ReLU) vor den Gewichtsschichten und nicht danach angewendet wird. Diese 2016 eingeführte Modifikation verbessert den Gradientenfluss und hat gezeigt, dass sie das Training noch tieferer Netzwerke erleichtert. Darüber hinaus verwenden einige Architekturen gegatete Residualverbindungen, bei denen ein gelerntes Gate den Beitrag des Residualpfads steuert, wie in Highway-Netzwerken zu sehen.
Praktische Überlegungen
Bei der Implementierung von Residualverbindungen ergeben sich mehrere praktische Überlegungen. Die Wahl, wo die Normalisierung platziert wird (vor oder nach der Addition), kann die Trainingsdynamik erheblich beeinflussen. In Transformatoren wurde die „Post-Norm“ (Normalisierung nach der Addition) im ursprünglichen Papier verwendet, aber die „Pre-Norm“ (Normalisierung vor der Unterschicht) ist in späteren Modellen aufgrund verbesserter Stabilität häufiger geworden. Der Skalierungsfaktor für den Residualzweig ist ein weiterer Hyperparameter, der abgestimmt werden kann.
Residualverbindungen interagieren auch mit anderen Techniken wie Dropout und Gewichtsinitialisierung. In der Praxis werden Residualverbindungen oft in Verbindung mit Gradient-Clipping und sorgfältigem Learning-Rate-Schedule-Management verwendet, um sehr tiefe Modelle zu trainieren. Die Kombination dieser Techniken hat das Training von Modellen mit Billionen von Parametern ermöglicht, wie sie in modernen Large-Language-Modellen verwendet werden.
Fazit
Residualverbindungen sind eine einfache, aber leistungsstarke Idee, die das Deep Learning revolutioniert hat. Durch die Addition der Eingabe zur Ausgabe eines Subnetzwerks ermöglichen sie es Gradienten, durch tiefe Netzwerke zu fließen, verhindern Degradation und ermöglichen das Training von Architekturen mit Hunderten von Schichten. Von ihren Ursprüngen im ResNet-Papier von 2015 bis zu ihrer allgegenwärtigen Präsenz in Transformatoren und anderen modernen Modellen sind Residualverbindungen zu einem grundlegenden Werkzeug in diesem Bereich geworden. Ihre Auswirkungen erstrecken sich über Bilderkennung, Verarbeitung natürlicher Sprache und darüber hinaus, was sie zu einer der wichtigsten architektonischen Innovationen in der Geschichte des Machine Learning macht.