于尔根·施密德胡伯是德国计算机科学家,也是瑞士卢加诺的达勒莫勒人工智能研究所(IDSIA)的联合科学主任。他最广为人知的成就是在1997年与其当时的学生塞普·霍赫赖特共同发明了长短期记忆(LSTM)网络,这是循环神经网络架构中在自然语言处理和序列建模领域被广泛使用了二十年的架构之一,直到Transformer兴起之前。
职业生涯与研究
施密德胡伯1963年出生于慕尼黑,1991年获得慕尼黑工业大学博士学位,其职业生涯大部分时间在IDSIA度过,在那里他建立了一个在深度学习领域具有影响力的欧洲实验室,远早于该领域2012年的主流突破。IDSIA的团队还在2000年代末期利用GPU加速的深度网络在手写和图像识别竞赛中取得了早期实际成功,这些工作早于但平行于2012年更广为人知的AlexNet成果。除了LSTM,他的实验室还开展了循环网络训练、人工好奇心以及强化学习智能体的内在动机方面的早期工作,以及高速公路网络,这是后来用于极深图像分类器的残差连接的前身。
优先权争议
施密德胡伯几乎同样以公开且反复声称该领域低估了他及其合作者的工作而闻名,相对于杰弗里·辛顿、扬·勒昆和约书亚·本吉奥等研究者。他声称反向传播、生成对抗网络(归功于更早的对抗好奇心公式)以及Transformer中使用的注意力机制的关键思想,都已被IDSIA关联的早期工作所预见,而他认为这些工作在辛顿、勒昆和本吉奥获得2018年图灵奖时被忽视了。这些争议通过博客文章、会议发言和采访传播,使他在人工智能研究社区中成为一个有争议但备受关注的人物,在这个快速发展的领域中,优先权问题经常受到争论。
后期事业
施密德胡伯共同创立了NNAISENSE,一家将循环和强化学习方法应用于工业和机器人问题的公司,并继续发表关于通用学习系统和智能理论极限的论文,坚持认为许多现在对机器学习和现代AI智能体研究至关重要的想法可以追溯到比通常承认的更早。他还撰写了大量关于最优、资源受限的通用问题求解器的形式理论,这些工作在很大程度上仍处于工业深度学习的边缘,但他将其呈现为通往通用人工智能的更原则性的长期路径,而非仅仅依靠增量扩展。