Deep Residual Learning, allgemein bekannt als ResNet, ist eine Deep-Learning-Architektur, die 2015 für die Bilderkennung eingeführt wurde. Sie gewann die ImageNet Large Scale Visual Recognition Challenge (ILSVRC) dieses Jahres und zeigte, dass Netzwerke mit Hunderten von Schichten effektiv trainiert werden können. Die zentrale Innovation ist die Residualverbindung, die es Schichten ermöglicht, Residuenfunktionen in Bezug auf ihre Eingaben zu lernen, was das Training und die Konvergenz in sehr tiefen neuronalen Netzwerken stabilisiert.
Das Motiv der Residualverbindung, definiert als \(x \mapsto f(x) + x\), wobei \(f\) ein beliebiges neuronales Netzwerkmodul ist, wurde bereits in früheren Arbeiten verwendet, aber die Veröffentlichung von ResNet machte es für Feedforward-Netzwerke weit verbreitet. Dieses Motiv erscheint nun in vielen Architekturen, die scheinbar nichts mit ResNet zu tun haben, einschließlich Transformer-Modellen wie BERT und GPT sowie Systemen wie AlphaGo Zero, AlphaStar und AlphaFold.
Mathematik der Residualverbindungen
In einem mehrschichtigen neuronalen Netzwerk betrachten wir ein Teilnetzwerk mit gestapelten Schichten (z. B. 2 oder 3). Sei \(H(x; \alpha)\) das Teilnetzwerk, wobei \(x\) die Eingabe und \(\alpha\) die Menge der Parameter ist. Wenn \(H^\) die gewünschte optimale Ausgabe ist, fügt das Residuallernen \(x\) direkt zur Ausgabe hinzu, sodass die optimale gelernte Ausgabe \(H^ - x\) wird, interpretiert als ein "Residuum" in Bezug auf \(x\). Dies wird über eine Skip-Verbindung implementiert, die eine Identitätsabbildung von der Eingabe des Teilnetzwerks zu seiner Ausgabe durchführt.
Die Funktion \(F(x; \alpha) = H(x; \alpha) + x\) wird oft durch Matrixmultiplikation dargestellt, die mit Aktivierungsfunktionen und Normalisierungsoperationen wie Batch-Normalisierung oder Layer-Normalisierung verschachtelt ist. Ein Residualblock ist ein solches Teilnetzwerk, und ein tiefes Residualnetzwerk wird durch Stapeln dieser Blöcke konstruiert.
Long Short-Term Memory (LSTM)-Netzwerke haben einen Speichermechanismus, der als Residualverbindung dient. In einem LSTM ohne Forget-Gate wird eine Eingabe \(x_t\) von einer Funktion \(F\) verarbeitet und zu einer Speicherzelle \(c_t\) addiert, was zu \(c_{t+1} = c_t + F(x_t)\) führt. Ein LSTM mit Forget-Gate funktioniert im Wesentlichen als Highway-Netzwerk.
Um die Varianz der Schichteingaben zu stabilisieren, wird empfohlen, Residualverbindungen \(x + f(x)\) durch \(x/L + f(x)\) zu ersetzen, wobei \(L\) die Gesamtzahl der Residualschichten ist.
Projektionsverbindungen
Wenn die Funktion \(F\) von \(\mathbb{R}^n\) nach \(\mathbb{R}^m\) mit \(n \neq m\) abbildet, ist der Ausdruck \(F(x) + x\) undefiniert. In diesem Fall wird eine Projektionsverbindung verwendet: \(y = F(x) + P(x)\), wobei \(P\) typischerweise eine lineare Projektion ist, definiert durch \(P(x) = Mx\), mit \(M\) als \(m \times n\)-Matrix. Die Matrix \(M\) wird wie jeder andere Modellparameter über Backpropagation trainiert.
Signalausbreitung
Die Einführung von Identitätsabbildungen erleichtert die Signalausbreitung sowohl in Vorwärts- als auch in Rückwärtsrichtung. In Vorwärtsrichtung, wenn die Ausgabe des \(\ell\)-ten Residualblocks die Eingabe des \((\ell+1)\)-ten Blocks ist (unter der Annahme, dass keine Aktivierung zwischen den Blöcken erfolgt), dann ist die Eingabe für den nächsten Block \(x_{\ell+1} = F(x_\ell) + x_\ell\). Diese additive Struktur ermöglicht es, dass Gradienten während der Backpropagation direkt durch das Netzwerk fließen, was das Problem der verschwindenden Gradienten mildert, das frühere tiefe Architekturen plagte.
Auswirkungen und Vermächtnis
Der Erfolg von ResNet bei ILSVRC 2015 markierte einen Wendepunkt in Computer Vision und künstlicher Intelligenz. Es ermöglichte das Training von Netzwerken mit Hunderten von Schichten, was zuvor aufgrund von Verschlechterung der Trainingsgenauigkeit nicht machbar war. Die Residualverbindung ist seitdem zu einem Standardbestandteil vieler Deep-Learning-Modelle geworden, einschließlich derer, die in natürlicher Sprachverarbeitung und generativer KI verwendet werden.
Der Einfluss der Architektur reicht über die Bilderkennung hinaus. Residualverbindungen sind integraler Bestandteil moderner großer Sprachmodelle und anderer sequenzbasierter Modelle, wo sie helfen, stabiles Training über viele Schichten hinweg zu gewährleisten. Das Prinzip, Residuen statt vollständiger Transformationen zu lernen, hat auch Variationen wie U-Net und andere Encoder-Decoder-Designs inspiriert.
ResNet bleibt eine grundlegende Referenz im Deep Learning, und seine Designprinzipien werden in Kursen gelehrt und in der Forschung über maschinelles Lernen angewendet. Die Einfachheit und Effektivität der Residualverbindung haben sie zu einem der nachhaltigsten Beiträge auf diesem Gebiet gemacht.