于尔根·施米德胡贝（生于1963年1月17日）是一位德国计算机科学家，以在人工智能领域，特别是人工神经网络方面的研究工作而闻名。他被媒体描述为现代人工智能的主要先驱之一。他是瑞士达勒莫勒人工智能研究所的科学主任，以及沙特阿拉伯阿卜杜拉国王科技大学（KAUST）人工智能计划的主任。
施米德胡贝最为人熟知的是他在长短期记忆（LSTM）方面的工作，这是一种神经网络架构，在2010年代成为研究和商业应用中各种自然语言处理任务的主导技术。他还引入了动态神经网络、元学习、生成对抗网络和线性变换器的原理，这些在现代人工智能中均已广泛使用。
早年生活与教育
施米德胡贝出生于德国慕尼黑。他于1987年完成本科学习，并于1991年在慕尼黑工业大学获得博士学位。他的博士导师是维尔弗里德·布劳尔和克劳斯·舒尔滕。
职业生涯
施米德胡贝于2004年至2009年在慕尼黑工业大学任教。从2009年到2021年，他是瑞士卢加诺的提契诺大学的人工智能教授。自1995年以来，他一直担任瑞士人工智能实验室达勒莫勒人工智能研究所（IDSIA）的主任。自2021年起，他还担任KAUST人工智能计划的主任。
2014年，施米德胡贝成立了一家名为NNAISENSE的公司，致力于在金融、重工业和自动驾驶汽车等领域应用人工智能的商业化。塞普·霍赫赖特、扬·塔林和马库斯·胡特是该公司的顾问。2016年销售额低于1100万美元；然而，施米德胡贝表示，重点在于研究而非收入。NNAISENSE于2017年1月完成了首轮资本融资。施米德胡贝的总体目标是通过按顺序在多种狭窄任务上训练单一人工智能来创建通用人工智能，但截至2026年，他表示NNAISENSE的重点已从通用人工智能转向资产管理。
研究
在1980年代，反向传播对于深度学习中人工神经网络内长信用分配路径的效果不佳。为了解决这个问题，施米德胡贝（1991年）提出了一种递归神经网络（RNN）的层次结构，通过自监督学习逐层预训练。它使用预测编码在多个自组织时间尺度上学习内部表示，促进了后续的深度学习。通过将更高层的分块器网络蒸馏到较低层的自动化器网络中，RNN层次结构可以折叠为单个RNN。1993年，一个分块器解决了深度超过1000的深度学习任务。
1991年，施米德胡贝发表了对抗性神经网络，这些网络以零和博弈的形式相互竞争，其中一个网络的收益是另一个网络的损失。第一个网络是生成模型，它对输出模式上的概率分布进行建模。第二个网络通过梯度下降学习预测环境对这些模式的反应。这被称为“人工好奇心”。2014年，这一原理被用于创建生成对抗网络，施米德胡贝将其描述为人工好奇心的一种特例，其中环境反应为1或0，取决于第一个网络的输出是否在给定集合中。
施米德胡贝指导了他的学生塞普·霍赫赖特1991年的毕业论文，他认为这是“机器学习历史上最重要的文献之一”。该论文研究了神经历史压缩器，并分析及克服了梯度消失问题。这导致了长短期记忆（LSTM）的创建，这是一种递归神经网络。LSTM这个名称在1995年的一份技术报告中引入，并促成了最被引用的LSTM出版物，发表于1997年，由霍赫赖特和施米德胡贝合著。标准LSTM架构于2000年由费利克斯·格斯、施米德胡贝和弗雷德·卡明斯提出。使用随时间反向传播的LSTM于2005年与其学生亚历克斯·格雷夫斯共同发表，其连接主义时间分类（CTC）训练算法于2006年发表。CTC被应用于基于LSTM的端到端语音识别。
2014年，最先进的技术是训练具有20到30层的“非常深的神经网络”。堆叠过多层会导致训练精度的急剧下降，即所谓的“退化”问题。2015年5月，鲁佩什·库马尔·斯里瓦斯塔瓦、克劳斯·格雷夫和施米德胡贝利用LSTM原理创建了高速公路网络，这是一种具有数百层的前馈神经网络，比以前的网络深得多。2015年12月，残差神经网络（ResNet）发表，它是高速公路网络的一个变体。
1992年，施米德胡贝发表了快速权重程序员，这是递归神经网络的一种替代方案。它有一个缓慢的前馈神经网络，通过梯度下降学习，通过自生成激活模式的外积控制另一个神经网络的快速权重，而快速权重网络本身对输入进行操作。这后来被证明等价于未归一化的线性变换器。
2011年，施米德胡贝在IDSIA的团队与其博士后丹·奇雷尚还利用图形处理单元（GPU）实现了卷积神经网络（CNN）的显著加速，基于更早由福岛邦彦提出的CNN设计。2006年奇雷尚等人提出的早期GPU上的CNN比同等CPU实现快4倍。丹·奇雷尚等人（2011年）在IDSIA的深度CNN则快60倍，并在2011年8月的计算机视觉竞赛中首次实现超人类性能。从2011年5月15日到2012年9月10日，这些CNN又赢得了四场图像竞赛，并在多个图像基准上提升了最先进水平。该方法已成为计算机视觉领域的核心。
荣誉争议
施米德胡贝有争议地认为，他和其他研究人员在深度学习领域的贡献没有得到充分认可，而杰弗里·辛顿、约书亚·本吉奥和杨立昆则获得了2018年图灵奖，以表彰他们在深度学习方面的工作。他写了一篇2015年的“尖刻”文章，认为辛顿、本吉奥和立昆“互相大量引用”，但“未能表彰该领域的先驱”。杨立昆在给《纽约时报》的声明中表示，“于尔根对认可有着病态的执着，并且不断声称他不应该得到的功劳。”
遗产与影响
施米德胡贝在LSTM方面的工作对机器学习和人工智能产生了深远的影响。LSTM网络已被应用于从语音识别、机器翻译到手写识别和时间序列预测的多种场景。他在元学习和对抗训练方面的贡献也影响了现代人工智能系统的发展，包括大型语言模型及其他先进架构。
尽管在功劳归属方面存在争议，施米德胡贝仍是人工智能研究领域极具影响力的人物。他对历史准确性和恰当归属的坚持引发了关于基础工作认可的重要讨论。在当前时代，他的思想持续塑造着人工智能研究的发展方向。