Residuale neuronale Netze, allgemein bekannt als ResNet, sind eine Klasse von Deep-Learning-Architekturen, die das Training sehr tiefer neuronaler Netze ermöglichen, indem sie Skip-Connections einführen, die die Eingabe einer Schicht zu ihrer Ausgabe addieren. Die Architektur wurde 2015 für die Bilderkennung entwickelt und gewann die ImageNet Large Scale Visual Recognition Challenge (ILSVRC) dieses Jahres. Die entscheidende Innovation ist die Residualverbindung, die es Schichten ermöglicht, Residuen in Bezug auf die Schichteingaben zu lernen, das Training zu stabilisieren und Netze mit vielen Schichten zu ermöglichen.
Das Residualverbindungs-Motiv, definiert als \(x \mapsto f(x) + x\), wurde bereits in früheren Modellen verwendet, aber die Veröffentlichung von ResNet machte es für Feedforward-Netze populär. Es ist seitdem zu einem häufigen Bestandteil vieler Deep-Learning-Architekturen geworden, einschließlich Transformer-Modellen wie BERT und GPT sowie Systemen wie AlphaGo Zero, AlphaStar und AlphaFold.
Mathematik
Residualverbindung
Betrachten wir in einem mehrschichtigen neuronalen Netz ein Subnetz mit einigen gestapelten Schichten, bezeichnet als \(H(x; \alpha)\), wobei \(x\) die Eingabe und \(\alpha\) die Parameter sind. Beim standardmäßigen Lernen zielt das Subnetz darauf ab, eine gewünschte Ausgabe \(H^\) anzunähern. Beim residualen Lernen wird das Subnetz modifiziert, um \(F(x; \alpha) = H(x; \alpha) + x\) auszugeben, sodass die optimale gelernte Funktion zu \(H^ - x\) wird, was als das Residuum in Bezug auf \(x\) interpretiert wird. Die Addition von \(x\) wird über eine Skip-Connection implementiert, die eine Identitätsabbildung durchführt und die Eingabe des Subnetzes direkt mit seiner Ausgabe verbindet. Diese Skip-Connection wird als Residualverbindung bezeichnet. Das Subnetz zusammen mit der Skip-Connection bildet einen Residualblock. Ein tiefes residuales Netzwerk wird durch das Stapeln mehrerer solcher Blöcke konstruiert.
Die Residualverbindung stabilisiert das Training, indem sie den Gradientenfluss erleichtert, was besonders für Netze mit vielen Schichten wichtig ist. Long Short-Term Memory (LSTM)-Netze haben einen Speichermechanismus, der wie eine Residualverbindung wirkt: In einem LSTM ohne Forget Gate lautet die Aktualisierungsregel \(c_{t+1} = c_t + F(x_t)\), wobei \(c_t\) die Speicherzelle und \(F\) eine Funktion der Eingabe ist. Ein LSTM mit Forget Gate funktioniert ähnlich wie ein Highway-Netz. Um die Varianz zu stabilisieren, wird empfohlen, die Residualverbindung durch die Gesamtzahl der Residualschichten \(L\) zu skalieren, was zu \(x/L + f(x)\) führt.
Projektionsverbindung
Wenn die Funktion \(F\) von \(\mathbb{R}^n\) auf \(\mathbb{R}^m\) abbildet und \(n \neq m\) ist, ist die Addition \(F(x) + x\) undefiniert. In solchen Fällen wird eine Projektionsverbindung verwendet: \(y = F(x) + P(x)\), wobei \(P\) typischerweise eine lineare Projektion ist, definiert als \(P(x) = Mx\), mit \(M\) als einer \(m \times n\)-Matrix. Die Matrix \(M\) wird zusammen mit den anderen Parametern des Modells durch Backpropagation trainiert.
Signalausbreitung
Die Identitätsabbildung in Residualverbindungen erleichtert die Signalausbreitung sowohl in Vorwärts- als auch in Rückwärtsrichtung. Im Vorwärtsdurchlauf gilt: Wenn die Ausgabe des \(\ell\)-ten Residualblocks die Eingabe des \((\ell+1)\)-ten Blocks ist (unter der Annahme, dass keine Aktivierung zwischen den Blöcken liegt), dann ist die Eingabe des nächsten Blocks \(x_{\ell+1} = F(x_\ell) + x_\ell\). Diese additive Struktur ermöglicht es Informationen, direkt durch das Netzwerk zu fließen, und mildert das Problem der verschwindenden Gradienten.
Auswirkungen auf Deep Learning
Die Einführung von ResNet im Jahr 2015 markierte einen bedeutenden Meilenstein im Deep Learning. Vor ResNet war das Training sehr tiefer Netze aufgrund der Verschlechterung der Genauigkeit mit zunehmender Tiefe eine Herausforderung. Das residuale Lernframework von ResNet adressierte dies, indem es Schichten so umformulierte, dass sie Residualfunktionen lernen, die einfacher zu optimieren sind. Die Architektur erreichte bei der ILSVRC 2015 mit einer Fehlerquote von 3,57 % auf dem ImageNet-Testsatz den Stand der Technik und übertraf damit die menschliche Leistung bei einigen Aufgaben.
Der Erfolg von ResNet förderte die Entwicklung noch tieferer Architekturen wie ResNet-50, ResNet-101 und ResNet-152, die häufig als Rückgratnetze in Computer-Vision-Aufgaben wie Objekterkennung und -segmentierung eingesetzt werden. Das Konzept der Residualverbindungen wurde in verschiedenen anderen Bereichen übernommen, darunter die Verarbeitung natürlicher Sprache und bestärkendes Lernen.
Vermächtnis
Die Residualverbindung ist zu einem grundlegenden Baustein im modernen neuronalen Netzdesign geworden. Sie ist eine Schlüsselkomponente in Transformer-Architekturen, die große Sprachmodelle wie GPT und BERT unterstützen. Die Technik wird auch in Systemen wie AlphaGo Zero, AlphaStar und AlphaFold verwendet, was ihre Vielseitigkeit über verschiedene Arten von neuronalen Netzen hinweg demonstriert.
Die Veröffentlichung des ResNet-Papiers mit dem Titel „Deep Residual Learning for Image Recognition“ von Kaiming He, Xiangyu Zhang, Shaoqing Ren und Jian Sun ist eines der am häufigsten zitierten Papiere in Computer Vision und Deep Learning und hat die Forschung zu Netzwerkarchitekturen und Trainingsstabilität maßgeblich beeinflusst.