伯纳德·威德罗(1929年12月24日-2025年9月30日)是美国斯坦福大学电气工程学教授,以在人工神经网络和自适应信号处理领域的开创性工作而闻名。他与博士生泰德·霍夫共同发明了威德罗-霍夫最小均方(LMS)滤波器,该算法成为机器学习和数字信号处理领域的基础。威德罗的贡献包括ADALINE和MADALINE神经网络、自适应天线和噪声消除的早期研究,以及被广泛引用的启发式规则“伯尼叔叔法则”。
威德罗职业生涯的大部分时间在斯坦福大学度过,影响了数代工程师。他的研究将理论统计学与实用工程学相结合,推动了在地球物理学、雷达和生物医学信号处理中的应用。他也是最早将神经网络思想与自适应滤波理论联系起来的研究者之一,这种综合预示了后来深度学习的发展。
早年生活与教育
威德罗于1929年12月24日出生在康涅狄格州诺里奇。年轻时,他对电子学充满兴趣。第二次世界大战期间,他发现了一本百科全书中关于收音机的条目,并制作了一台单管收音机,这激发了他对电气工程毕生的兴趣。
1947年,威德罗进入麻省理工学院(MIT),学习电气工程和电子学,并于1951年毕业。随后,他加入麻省理工学院数字计算机实验室担任研究助理,在磁芯存储器小组工作。该实验室是伺服机构实验室的一部分,正在开发Whirlwind I计算机。这段经历塑造了他对计算的观点,他后来将其描述为“存储器视角”,,先关注存储器,再确定围绕它连接哪些电路。
在硕士论文(1953年)中,由威廉·林维尔指导,威德罗致力于改善磁芯存储器中传感信号的信噪比。当时,磁芯存储器的磁滞回线不够方正,导致传感信号噪声较大。他的博士研究(1956年)同样在林维尔的指导下,解决了量化噪声的统计理论问题,基于林维尔和大卫·米德尔顿的工作。
在博士学习期间,威德罗从李郁荣那里了解了维纳滤波器。维纳滤波器需要知道待恢复无噪声信号的统计特性,而这在实践中往往不可用。这一局限性促使威德罗设计了一种自适应滤波器,使用梯度下降来最小化均方误差,这一概念后来演变为LMS算法。他还参加了1956年的达特茅斯研讨会,这激发了他对人工智能的兴趣。
神经网络工作
1959年,威德罗迎来了他的第一位研究生泰德·霍夫,后者后来因在英特尔的工作而闻名。他们一起改进了早期的自适应滤波器,使其对每个单独数据点执行梯度下降,从而产生了delta规则和ADALINE(自适应线性神经元)网络。为了避免手动调整ADALINE中的权重,他们发明了memistor,这是一种器件,其电导(代表ADALINE权重)由沉积在石墨上的铜厚度控制。
在与感知机创造者弗兰克·罗森布拉特的一次会面中,威德罗认为罗森布拉特感知机中的S单元(感觉单元)不应随机连接到A单元(关联单元)。相反,他建议完全移除S单元,将光电管输入直接馈送到A单元。罗森布拉特反对,指出“人类视网膜就是这样构建的”。
尽管多次尝试,威德罗和他的学生从未成功开发出多层神经网络的训练算法。他们最接近的成就是Madaline规则I(1962年),该规则使用了两层权重:第一层可训练,第二层固定。威德罗后来评论说,他们的本可以通过反向传播算法解决,他将其描述为“几乎神奇”。这远在保罗·韦尔博斯正式提出反向传播之前,威德罗的早期困境凸显了训练深度网络的难度。
自适应信号处理
由于无法训练多层神经网络,威德罗将研究重点转向自适应滤波和自适应信号处理。他将基于LMS的技术应用于广泛的问题,包括自适应天线、自适应噪声消除和医疗应用。这些方法在地球物理学、雷达和通信等领域变得至关重要。
与霍夫共同开发的LMS算法至今仍是信号处理中使用最广泛的自适应算法之一。它简单、稳健且计算效率高,适合实时应用。威德罗在自适应天线方面的工作通过自动将零点指向干扰源,帮助改善了雷达和通信系统。
1985年,在犹他州斯诺伯德的一次会议上,威德罗注意到神经网络研究正在复苏。他还了解了在1970年代和1980年代开发的反向传播算法。这重新激发了他对神经网络的兴趣,他重返该领域,将自适应滤波专长与神经网络研究相结合。
后期职业生涯与贡献
威德罗在斯坦福大学继续教学和研究数十年,指导了许多后来取得有影响力职业的学生。他以引人入胜的教学风格和直观解释复杂概念的能力而闻名。他的教科书《自适应信号处理》(1985年,与S. D. 斯特恩斯合著)成为该领域的标准参考。
他还为量化噪声理论做出了贡献,出版了《量化噪声:数字计算、信号处理、控制和通信中的舍入误差》(2008年,与I. 科拉尔合著)。这项工作解决了数字信号处理和数值计算中的基本问题。
在晚年,威德罗探索了控制论中更广泛的主题,于2023年出版了《控制论2.0》。他在九十多岁时仍活跃于研究和写作,反思人工智能的演变及其影响。
伯尼叔叔法则
威德罗是“伯尼叔叔法则”的同名者,这是机器学习中的一条启发式规则,指出训练样本大小应为网络中权重数的十倍。这条经验法则在神经网络社区中被广泛引用,作为避免过拟合的实用指南。它反映了威德罗务实的工程方法,强调足够数据对可靠模型训练的重要性。
荣誉与奖项
威德罗在其职业生涯中获得了众多荣誉。他于1976年当选IEEE会士,并于1980年当选美国科学促进会(AAAS)会士。他于1984年获得IEEE百年纪念奖章,1986年获得IEEE亚历山大·格雷厄姆·贝尔奖章,1991年获得IEEE神经网络先驱奖章。1995年,他入选美国国家工程院。他还于1999年获得IEEE信号处理学会奖,2000年获得IEEE千年奖章,2001年获得本杰明·富兰克林奖章。他于2003年和2004年担任国际神经网络学会理事会成员。
遗产
伯纳德·威德罗的工作为现代神经网络和自适应系统的许多发展奠定了基础。他的LMS算法至今仍是自适应信号处理的基石,他早期的神经网络研究预示了后来深度学习的进展。ADALINE和MADALINE模型是最早的实用神经网络之一,他对训练多层网络挑战的洞察预示了反向传播的发展。
威德罗的影响超越了他的技术贡献。他是许多研究者的导师,也是信号处理与人工智能领域之间的桥梁。他的启发式规则“伯尼叔叔法则”继续指导从业者设计机器学习实验。他的遗产体现在自适应算法在通信、雷达和生物医学工程中的广泛使用,以及神经网络研究的持续演变中。
出版物
威德罗撰写或合著了多本有影响力的书籍和论文。值得注意的出版物包括:
- 1965年:“两种自适应分类网络的批判性比较”(与K. 斯坦布赫合著),《IEEE电子计算机汇刊》,第737-740页。
- 1985年:《自适应信号处理》(与S. D. 斯特恩斯合著),普伦蒂斯-霍尔出版社。
- 1994年:《自适应逆控制》(与E. 瓦拉赫合著),普伦蒂斯-霍尔出版社。
- 2008年:《量化噪声:数字计算、信号处理、控制和通信中的舍入误差》(与I. 科拉尔合著),剑桥大学出版社。
- 2023年:《控制论2.0》,施普林格·自然瑞士出版社。
这些作品被广泛引用,并用作电气工程和计算机科学课程的教科书。
参考文献
本文基于公开可用的传记信息和威德罗本人的出版物。主要来源包括他的学术论文、教科书和访谈。如需进一步阅读,请参阅IEEE和斯坦福大学档案馆。