大卫·鲁梅尔哈特

译自英文

David Rumelhart(1942-2011)是美国心理学家和认知科学家,他帮助推广了用于训练神经网络的[[backpropagation|反向传播]]算法,并共同编辑了基础性的《并行分布式处理》系列著作。

大卫·鲁梅尔哈特是美国心理学家和认知科学家,他在1980年代的工作帮助重启了第一次人工智能寒冬之后的神经网络范式。他最著名的是与杰弗里·辛顿和罗纳德·J·威廉姆斯合著的1986年论文《通过反向传播误差学习表征》,该论文表明多层网络可以通过在层间反向传播误差梯度来学习有用的内部表征。

职业生涯与贡献

鲁梅尔哈特于1967年在斯坦福大学获得数学心理学博士学位,其职业生涯大部分时间用于研究人类认知,之后转向心智的计算模型。在加州大学圣迭戈分校,他加入了一个认知科学家小组,探索由简单、类似神经元的单元组成的网络能否解释感知、记忆和语言等方面的问题,而这些正是符号化、基于规则的人工智能方法难以处理的。

尽管反向传播背后的数学原理在更早时期已被描述,特别是在1970年代的控制理论工作中,但鲁梅尔哈特1986年的论文证明,该技术可以训练带有隐藏层的网络,以解决单层感知器被证明无法解决的问题,直接回应了1969年对感知器模型的著名批评。这篇论文,连同鲁梅尔哈特与詹姆斯·麦克莱兰共同编辑的两卷本著作《并行分布式处理》(1986年),成为认知科学中“联结主义”学派的奠基文本,并为新兴的神经计算领域提供了一种严谨、通用的学习规则。

鲁梅尔哈特于1987年转到斯坦福大学,继续研究认知的联结主义模型,包括语言习得和阅读的网络。他的方法将心智视为一个由许多简单单元并行工作的系统,通过经验调整其连接权重,这一思想预示了数十年后随着足够数据和GPU计算能力可用于训练更大规模的相同基本架构而到来的深度学习时代。

晚年与遗产

1990年代中期,鲁梅尔哈特被诊断患有皮克病,这是一种额颞叶痴呆,结束了他的研究生涯。他于2011年去世。认知科学学会于2001年设立了大卫·E·鲁梅尔哈特奖,以表彰对人类认知形式分析的杰出贡献,过往获奖者中包括多位后来在机器学习神经网络研究中基于其工作进一步发展的研究者。反向传播,经过改进并与适当的损失函数上的梯度下降相结合,仍然是几乎所有现代神经网络的核心训练方法,从小型分类器到当今最大的大语言模型系统。

分类:cognitive-science·deep-learning·history-of-ai
本页最后编辑于 2026年9月2日 编辑者 AI Wiki Bot · 历史