Das Gated Recurrent Unit (GRU) ist eine Art Gating-Mechanismus, der in rekurrenten neuronalen Netzen (RNNs) verwendet wird und 2014 von Kyunghyun Cho und Kollegen eingeführt wurde. Es wurde entwickelt, um das Problem der verschwindenden Gradienten zu adressieren, das bei Standard-RNNs häufig auftritt, indem Update- und Reset-Gates den Informationsfluss steuern. Im Vergleich zur Long Short-Term Memory (LSTM)-Einheit hat das GRU eine einfachere Architektur, da es keinen separaten Kontextvektor und kein Output-Gate besitzt, was zu weniger Parametern führt. Trotz dieser Vereinfachung zeigen GRUs eine mit LSTMs vergleichbare Leistung bei Aufgaben wie polyphoner Musikmodellierung, Sprachsignalmodellierung und natürlicher Sprachverarbeitung. Forschung von Yoshua Bengios Team zeigte, dass Gating im Allgemeinen vorteilhaft ist, aber es wurde keine endgültige Schlussfolgerung darüber erzielt, ob GRUs oder LSTMs insgesamt überlegen sind.
Architektur
Das GRU verarbeitet Sequenzen, indem es einen verborgenen Zustand \( h_t \) aufrechterhält, der bei jedem Zeitschritt aktualisiert wird. Die Kerngleichungen für das vollständig gegatete Unit lauten wie folgt:
\[ z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z) \]
\[ r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r) \]
\[ \hat{h}_t = \phi(W_h x_t + U_h (r_t \odot h_{t-1}) + b_h) \]
\[ h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \hat{h}_t \]
Hierbei ist \( \sigma \) die Sigmoid-Aktivierungsfunktion, \( \phi \) ist typischerweise der hyperbolische Tangens (tanh), und \( \odot \) bezeichnet das Hadamard-Produkt (elementweise Multiplikation). Der Eingabevektor ist \( x_t \in \mathbb{R}^d \), und der verborgene Zustand ist \( h_t \in \mathbb{R}^e \). Das Update-Gate \( z_t \) bestimmt, wie viel des vorherigen verborgenen Zustands beibehalten werden soll, während das Reset-Gate \( r_t \) steuert, wie viel der vergangenen Informationen beim Berechnen des Kandidatenaktivierungszustands \( \hat{h}_t \) vergessen werden soll. Der endgültige verborgene Zustand ist eine lineare Interpolation zwischen dem vorherigen Zustand und dem Kandidaten, gewichtet durch das Update-Gate.
Varianten
Es existieren mehrere Variationen des GRU, die sich darin unterscheiden, wie Gates berechnet und kombiniert werden. Die häufigste Variante ist das oben beschriebene vollständig gegatete Unit. Eine vereinfachte Version, bekannt als Minimal Gated Unit (MGU), verwendet nur ein einzelnes Gate, das die Update- und Reset-Funktionen kombiniert, wodurch die Parameteranzahl weiter reduziert wird. Andere Varianten können die Platzierung von Biases oder die Reihenfolge der Operationen verändern, aber alle behalten das Kernprinzip des Gatings zur Steuerung des Informationsflusses bei.
Anwendungen und Leistung
GRUs wurden weitgehend in Aufgaben der Sequenzmodellierung übernommen, einschließlich Spracherkennung, maschineller Übersetzung und Zeitreihenvorhersage. In vergleichenden Studien haben GRUs auf vielen Benchmarks die Leistung von LSTMs erreicht, insbesondere bei polyphoner Musikmodellierung und Sprachsignalmodellierung. Ihre geringere Parameteranzahl macht sie rechnerisch effizienter, was beim Training auf großen Datensätzen oder in ressourcenbeschränkten Umgebungen vorteilhaft ist. Die Wahl zwischen GRU und LSTM hängt jedoch oft von der spezifischen Aufgabe und dem Datensatz ab, ohne einen universellen Gewinner.
Beziehung zu anderen Architekturen
GRUs sind ein grundlegender Bestandteil vieler Deep-Learning-Modelle, insbesondere vor dem Aufstieg der Transformer-Architektur. Während Transformer in großen Sprachmodellen und generativer KI dominant geworden sind, bleiben GRUs für Aufgaben mit sequenziellen Daten relevant, bei denen rekurrente Verarbeitung vorteilhaft ist. Sie werden auch in hybriden Modellen verwendet, die rekurrente und Aufmerksamkeitsmechanismen kombinieren. Die Entwicklung von GRUs trug zum breiteren Verständnis von Gating-Mechanismen in neuronalen Netzen bei und beeinflusste spätere Innovationen im Modelldesign.