Sepp Hochreiter ist ein deutscher Informatiker, der für zwei einflussreiche Beiträge zum Deep Learning bekannt ist, die zwei Jahrzehnte auseinanderliegen: die Identifizierung des Problems der verschwindenden Gradienten in den frühen 1990er Jahren und, in jüngerer Zeit, den Vorschlag von xLSTM als Konkurrenten zur Transformer-Architektur, die seine frühere Arbeit als dominantes Sequenzmodell verdrängte.
Verschwindende Gradienten und LSTM
In seiner Diplomarbeit von 1991, die von Jürgen Schmidhuber an der Technischen Universität München betreut wurde, zeigte Hochreiter mathematisch, warum das Training standardmäßiger rekurrenter neuronaler Netze mit Backpropagation durch die Zeit bei langen Sequenzen tendenziell scheitert: Fehlergradienten schrumpfen entweder gegen Null oder wachsen unkontrolliert, wenn sie über viele Zeitschritte rückwärts propagiert werden, was es frühen neuronalen Netzarchitekturen sehr schwer macht, Abhängigkeiten zu lernen, die sich über mehr als wenige Schritte erstrecken. Diese Diagnose, die damals außerhalb deutschsprachiger KI-Kreise weitgehend übersehen wurde, motivierte direkt das Design des Long Short-Term Memory (LSTM), das Hochreiter und Schmidhuber 1997 veröffentlichten. LSTM führte gegated Speicherzellen ein, die Informationen über lange Zeiträume bewahren konnten, und wurde in den 2000er und 2010er Jahren zur Standardarchitektur für Aufgaben wie maschinelle Übersetzung, Spracherkennung und Textgenerierung, bevor das Paper Attention Is All You Need von 2017 die Transformer einführte.
Spätere Karriere
Hochreiter ist Professor an der Johannes Kepler Universität Linz, wo er das Institut für Maschinelles Lernen leitet und eine Einheit des European Laboratory for Learning and Intelligent Systems (ELLIS) führt. Sein Labor hat auch an Anwendungen des maschinellen Lernens in der Wirkstoffforschung und Chemie gearbeitet, indem es tiefe Netze zur Vorhersage molekularer Eigenschaften und zum Screening von Kandidatenverbindungen einsetzte, lange bevor solche Anwendungen ein breit gefördertes Teilgebiet für sich wurden. Im Jahr 2024 stellte seine Gruppe xLSTM vor, eine aktualisierte Version der ursprünglichen Architektur mit exponentiellem Gating und überarbeiteten Speicherstrukturen, positioniert als rechnerisch effizientere Alternative zu Transformatoren für bestimmte Langsequenzaufgaben, Teil einer breiteren Welle des Interesses an Transformer-Alternativen neben Ansätzen wie der State-Space-Modell-Familie. Hochreiter ist Mitbegründer des Unternehmens NXAI, um diese Forschungsrichtung zu kommerzialisieren, und argumentiert, dass Europa in eigene Foundation-Modell-Architekturen investieren sollte, anstatt sich ausschließlich auf transformerbasierte Large-Language-Model-Designs großer US-Labore zu verlassen, wobei er xLSTM als Beleg dafür anführt, dass ältere, gut verstandene Architekturen weiterhin Raum für sinnvolle Verbesserungen bieten.