ゼップ・ホフライターはドイツの計算機科学者であり、深層学習への影響力のある2つの貢献で知られている。その2つは20年隔ててなされたもので、1990年代初頭の勾配消失問題の特定と、より最近では、彼の初期の研究を支配的な系列モデルとして追い越したトランスフォーマーアーキテクチャに対抗するものとしてのxLSTMの提案である。
勾配消失とLSTM
1991年の学位論文（ミュンヘン工科大学、ユルゲン・シュミットフーバーの指導下）で、ホフライターは、標準的なリカレントニューラルネットワークのバックプロパゲーションによる時系列学習が長い系列で失敗しがちな理由を数学的に示した。すなわち、誤差勾配は多くの時間ステップを逆伝播する過程でゼロに向かって縮小するか、制御不能に増大するかのいずれかであり、初期のニューラルネットワークアーキテクチャが数ステップを超える依存関係を学習することを非常に困難にしていた。この診断は当時、ドイツ語圏のAIコミュニティの外ではほとんど注目されなかったが、1997年にホフライターとシュミットフーバーが発表した長短期記憶（LSTM）の設計を直接動機付けた。LSTMは長いスパンにわたって情報を保持できるゲート付きメモリセルを導入し、2000年代から2010年代にかけて、機械翻訳、音声認識、テキスト生成などのタスクにおけるデフォルトのアーキテクチャとなった。その後、2017年のAttention Is All You Need論文がトランスフォーマーを導入するまで続いた。
その後の経歴
ホフライターはヨハネス・ケプラー大学リンツ校の教授であり、機械学習研究所を率い、欧州学習・知能システム研究所（ELLIS）の一部門を統括している。彼の研究室はまた、機械学習の創薬や化学への応用にも取り組んでおり、深層ネットワークを用いて分子特性を予測し、候補化合物をスクリーニングしていた。これは、そのような応用が独自の分野として広く資金提供されるようになるずっと前のことである。2024年、彼のグループはxLSTMを発表した。これは、指数ゲーティングと改訂されたメモリ構造を備えた元のアーキテクチャの更新版であり、特定の長系列タスクにおいてトランスフォーマーよりも計算効率の高い代替手段として位置付けられている。これは、状態空間モデルファミリーなどのアプローチと並んで、トランスフォーマー代替への関心の広がりの一部である。ホフライターは、この研究を商業化するためにNXAI社を共同設立し、欧州は主要な米国研究所のトランスフォーマーベースの大規模言語モデル設計にのみ依存するのではなく、自国発の基盤モデルアーキテクチャに投資すべきだと主張している。xLSTMは、古くてよく理解されているアーキテクチャにも意味のある改善の余地がまだある証拠であると位置付けている。