Sepp Hochreiter是一位德国计算机科学家，以两项相隔二十年的对深度学习的重要贡献而闻名：在1990年代初期识别出梯度消失问题，以及最近提出xLSTM，作为Transformer架构的竞争者，而后者取代了他早期的工作成为主导的序列模型。
梯度消失与LSTM
在1991年由尤尔根·施密德胡伯在慕尼黑工业大学指导的毕业论文中，Hochreiter从数学上证明了为什么使用反向传播通过时间进行训练的标准循环神经网络在长序列上往往会失败：误差梯度在通过多个时间步反向传播时要么缩小到接近零，要么不受控制地增长，这使得早期神经网络架构很难学习跨越超过几步的依赖关系。这一诊断在当时很大程度上被德语圈AI界之外所忽视，但直接促成了长短期记忆（LSTM）的设计，Hochreiter和Schmidhuber于1997年发表了这一成果。LSTM引入了门控记忆单元，能够在长时间跨度内保留信息，并在2000年代和2010年代成为机器翻译、语音识别和文本生成等任务的默认架构，直到2017年的注意力机制论文引入了Transformer。
后期职业生涯
Hochreiter是林茨约翰内斯·开普勒大学的教授，领导机器学习研究所，并担任欧洲学习与智能系统实验室（ELLIS）的一个部门负责人。他的实验室还从事机器学习在药物发现和化学应用方面的工作，使用深度网络预测分子性质并筛选候选化合物，远早于这类应用成为独立且获得广泛资助的子领域。2024年，他的团队推出了xLSTM，这是原始架构的更新版本，采用指数门控和修订的记忆结构，定位为在某些长序列任务中比Transformer更具计算效率的替代方案，属于对Transformer替代方案更广泛兴趣浪潮的一部分，与状态空间模型系列等方法并列。Hochreiter共同创立了公司NXAI，以商业化这一研究方向，主张欧洲应投资于本土基础模型架构，而非仅依赖美国主要实验室基于Transformer的大型语言模型设计，并将xLSTM视为证据，表明更古老且已被充分理解的架构仍有显著改进空间。