Im maschinellen Lernen ist das Highway Network eine tiefe Feedforward-Neuronale-Netzwerk-Architektur, die als erste erfolgreich Netzwerke mit Hunderten von Schichten trainierte und damit die 20 bis 30 Schichten typischer State-of-the-Art-Modelle von 2014 weit übertraf. Es wurde im Mai 2015 von Forschern eingeführt, die das „Degradationsproblem" überwinden wollten, bei dem das Stapeln zu vieler Schichten eine starke Reduzierung der Trainingsgenauigkeit verursachte. Die Architektur verwendet erlernte Gating-Mechanismen, um den Informationsfluss über Schichten hinweg zu regulieren, inspiriert von Long Short-Term Memory (LSTM) rekurrenten neuronalen Netzwerken. Diese Gates erzeugen „Informationsautobahnen", die es Gradienten ermöglichen, sich leichter auszubreiten, wodurch das Problem verschwindender Gradienten gemildert und die Optimierung verbessert wird.
Das Highway Network wurde gleichzeitig mit dem Residual Neural Network (ResNet) entwickelt, das im Dezember 2015 veröffentlicht wurde. ResNet kann als ein Spezialfall eines Highway Networks betrachtet werden, bei dem die Gates immer offen sind (Aktivierung 1.0). Highway Networks haben praktische Anwendungen in der Text-Sequenz-Labeling- und Spracherkennungsaufgaben gefunden.
Modell und Gating-Mechanismus
Das Highway Network erweitert eine Standard-Feedforward-Schicht, indem es zwei Gates neben der Haupttransformationsfunktion \(H(W_H, x)\) hinzufügt: ein Transformations-Gate \(T(W_T, x)\) und ein Carry-Gate \(C(W_C, x)\). Beide Gates sind typischerweise Sigmoidfunktionen, die Werte zwischen 0 und 1 ausgeben. Das Carry-Gate ist definiert als \(C(W_C, x) = 1 - T(W_T, x)\), was sicherstellt, dass die Transformations- und Carry-Pfade in der Summe eins ergeben.
Die Ausgabe einer Highway-Schicht wird wie folgt berechnet:
\(y = H(x, W_H) \cdot T(x, W_T) + x \cdot C(x, W_C)\)
oder äquivalent:
\(y = H(x, W_H) \cdot T(x, W_T) + x \cdot (1 - T(x, W_T))\)
Diese Formulierung ermöglicht es der Schicht, entweder die Eingabe unverändert durchzulassen (wenn das Transformations-Gate nahe 0 ist) oder eine nichtlineare Transformation anzuwenden (wenn das Gate nahe 1 ist). Das Gating wird während des Trainings erlernt, wodurch das Netzwerk dynamisch steuern kann, wie viel Information durch jede Schicht fließt.
Beziehung zu LSTM und ResNet
Das Highway Network zieht direkte Inspiration aus LSTM-rekurrenten neuronalen Netzwerken. Sepp Hochreiter analysierte 1991 das Problem verschwindender Gradienten und führte es auf die Schwierigkeit zurück, tiefe Netzwerke zu trainieren. Das ursprüngliche LSTM (1997) führte ein Konstantfehler-Karussell ein, eine Residualverbindung mit einem festen Gewicht von 1.0, die es Gradienten ermöglicht, über lange Zeitschritte zu fließen. Eine spätere LSTM-Variante (2000) fügte erlernbare „Forget Gates" hinzu, die diese Identitätsverbindungen modulieren und das Problem verschwindender Gradienten flexibler angehen.
Das Highway Network wendet diese Prinzipien auf Feedforward-Netzwerke an. Es ist analog zu einem LSTM mit Forget Gates, das in der Zeit entfaltet ist, wobei die Gates erlernt werden. Im Gegensatz dazu hat ResNet, das später im Dezember 2015 veröffentlicht wurde, kein Äquivalent zu Forget Gates; seine Skip-Verbindungen sind immer offen und ähneln dem ursprünglichen LSTM von 1997. Wenn die Gates in einem Highway Network offen gehalten werden (Aktivierung 1.0), wird es zu einem ResNet.
Die Residualverbindung ist ein Spezialfall des breiteren Konzepts der „Short-Cut-Verbindung" oder „Skip-Verbindung", das auf Rosenblatt (1961) und Lang & Witbrock (1988) zurückgeht. Diese Verbindungen haben die Form \(x \mapsto F(x) + Ax\), wobei \(A\) eine Gewichtsmatrix ist. In einer Residualverbindung ist \(A\) die Identitätsmatrix, aber bei allgemeinen Skip-Verbindungen kann \(A\) beliebig sein. Somit ist jede Residualverbindung eine Skip-Verbindung, aber nicht alle Skip-Verbindungen sind residual.
Training und Leistung
Das ursprüngliche Highway-Network-Papier berichtete über Experimente mit Netzwerken von 20, 50 und 100 Schichten und erwähnte laufende Arbeiten mit bis zu 900 Schichten. Der Gating-Mechanismus ermöglichte es, diese sehr tiefen Netzwerke effektiv zu trainieren und eine bessere Optimierung als bei einfachen tiefen Netzwerken zu erreichen. Durch die Regulierung des Informationsflusses helfen die Gates, das Problem verschwindender Gradienten zu verhindern, bei dem Gradienten zu klein werden, um Gewichte in früheren Schichten zu aktualisieren.
Im Vergleich zu anderen Deep-Learning-Architekturen bieten Highway Networks den Vorteil einer verbesserten Trainierbarkeit für sehr tiefe Modelle. Sie erfordern jedoch zusätzliche Parameter für die Gates, was die Rechenkosten erhöht. Der Erfolg von Highway Networks und ResNets zeigte, dass sehr tiefe Architekturen effektiv trainiert werden konnten, was den Weg für spätere Fortschritte im Deep Learning ebnete.
Anwendungen und Vermächtnis
Highway Networks wurden auf Text-Sequenz-Labeling und Spracherkennung angewendet, wo tiefe Architekturen vorteilhaft sind, um komplexe Muster zu erfassen. Sie beeinflussten auch die Entwicklung späterer Architekturen wie ResNet, das zu einem grundlegenden Baustein in der Computer Vision wurde. Das Konzept der Gated-Skip-Verbindungen wurde in verschiedenen Formen im modernen Deep Learning übernommen, einschließlich in Transformatoren und großen Sprachmodellen.
Die Ideen hinter Highway Networks sind Teil der breiteren Entwicklung des Deep Learnings, die durch Beiträge von Institutionen wie der University of Toronto und Forschern wie Sepp Hochreiter und Jürgen Schmidhuber vorangetrieben wurde. Obwohl Highway Networks selbst heute weniger häufig verwendet werden, bleiben ihre Prinzipien relevant für das Verständnis, wie sehr tiefe neuronale Netzwerke trainiert werden.