バーナード・ウィドロー（Bernard Widrow、1929年12月24日 - 2025年9月30日）は、アメリカのスタンフォード大学電気工学教授であり、人工ニューラルネットワークと適応信号処理における先駆的な研究で最もよく知られている。彼は博士課程の学生テッド・ホフとともに、ウィドロー＝ホフ最小二乗平均（LMS）フィルタを共同発明した。このアルゴリズムは機械学習とデジタル信号処理の基礎となった。ウィドローの貢献には、ADALINEおよびMADALINEニューラルネットワーク、適応アンテナとノイズキャンセリングに関する初期の研究、そして広く引用されるヒューリスティック「アンクル・バーニーの法則」が含まれる。
ウィドローはキャリアの大半をスタンフォード大学で過ごし、そこでの彼は世代を超えた技術者たちに影響を与えた。彼の研究は理論統計学と実用工学を橋渡しし、地球物理学、レーダー、生体医用信号処理への応用につながった。また、彼はニューラルネットワークの概念と適応フィルタ理論を結びつけた最初期の研究者の一人であり、その総合は後の深層学習の発展を先取りするものだった。
幼少期と教育
ウィドローは1929年12月24日にコネチカット州ノーウィッチで生まれた。幼少期、彼は電子工学に魅了された。第二次世界大戦中、彼は百科事典のラジオに関する項目を見つけ、一石ラジオを製作し、電気工学への生涯にわたる関心に火をつけた。
1947年、ウィドローはマサチューセッツ工科大学（MIT）に入学し、電気工学と電子工学を学び、1951年に卒業した。その後、彼はMITデジタルコンピュータ研究所の研究助手となり、磁気コアメモリグループで働いた。この研究所はサーボ機構研究所の一部であり、Whirlwind Iコンピュータを開発していた。この経験は彼の計算に対する見方を形成し、後に彼はこれを「メモリの視点」と表現した。すなわち、メモリに焦点を当て、その周囲にどのような回路を接続するかを決定するというものである。
修士論文（1953年）では、ウィリアム・リンビルの指導の下、磁気コアメモリのセンシング信号の信号対雑音比を改善する研究を行った。当時、磁気コアメモリのヒステリシスループは十分に正方形ではなく、センシング信号がノイズを含んでいた。博士研究（1956年）も同じくリンビルの指導の下で、量子化ノイズの統計理論を扱い、リンビルとデビッド・ミドルトンの研究に基づいていた。
博士課程在学中、ウィドローはリー・ユークウィングからウィーナーフィルタについて学んだ。ウィーナーフィルタは、回復すべき無雑音信号の統計を知る必要があり、実際にはそれが得られないことが多い。この限界が、ウィドローに平均二乗誤差を最小化するために勾配降下法を用いる適応フィルタを設計する動機を与え、この概念は後にLMSアルゴリズムへと発展した。また、彼は1956年のダートマスワークショップに参加し、それが人工知能への関心を刺激した。
ニューラルネットワークに関する研究
1959年、ウィドローは最初の大学院生テッド・ホフを受け入れ、彼は後にIntelでの業績で有名になった。二人は初期の適応フィルタを改良し、各データポイントごとに勾配降下を実行するようにし、デルタ則とADALINE（適応線形ニューロン）ネットワークにつながった。ADALINEの重みを手動で調整することを避けるため、彼らはメミスターを発明した。これは、グラファイト上に堆積した銅の厚さによって制御される導電率がADALINEの重みを表すデバイスである。
パーセプトロンの創始者フランク・ローゼンブラットとの会合中、ウィドローはローゼンブラットのパーセプトロン機械におけるSユニット（感覚ユニット）をAユニット（連合ユニット）にランダムに接続すべきではないと主張した。代わりに、彼はSユニットを完全に取り除き、光電池入力を直接Aユニットに供給することを提案した。ローゼンブラットは「人間の網膜はそのようにできている」と反論した。
数多くの試みにもかかわらず、ウィドローと彼の学生たちは多層ニューラルネットワークの訓練アルゴリズムを開発することに成功しなかった。彼らの最も近い成果はマダライン規則I（1962年）であり、これは2つの重み層を使用した。最初の層は訓練可能で、2番目の層は固定されていた。ウィドローは後に、彼らの問題はバックプロパゲーションアルゴリズムによって解決されたであろうと述べ、それを「ほとんど奇跡的」と表現した。これはポール・ウェルボスがバックプロパゲーションを形式化するずっと前のことであり、ウィドローの初期の苦闘は深いネットワークを訓練することの難しさを浮き彫りにした。
適応信号処理
多層ニューラルネットワークを訓練できなかったため、ウィドローは適応フィルタリングと適応信号処理に焦点を移した。彼はLMSベースの技術を適応アンテナ、適応ノイズキャンセリング、医療応用など幅広い問題に適用した。これらの手法は地球物理学、レーダー、通信などの分野で不可欠となった。
ホフと開発したLMSアルゴリズムは、信号処理において最も広く使用される適応アルゴリズムの一つであり続けている。それは単純で堅牢かつ計算効率が良く、リアルタイムアプリケーションに適している。ウィドローの適応アンテナに関する研究は、干渉源に向かってヌルを自動的に向けることでレーダーと通信システムの改善に貢献した。
1985年、ユタ州スノーバードでの会議で、ウィドローはニューラルネットワーク研究が復活しつつあることに気づいた。また、1970年代から1980年代に開発されたバックプロパゲーションアルゴリズムについても知った。これにより彼のニューラルネットワークへの関心が再燃し、彼は適応フィルタリングの専門知識とニューラルネットワーク研究を統合してこの分野に戻った。
後期のキャリアと貢献
ウィドローは数十年にわたりスタンフォード大学で教鞭を執り研究を続け、影響力のあるキャリアを歩んだ多くの学生を指導した。彼は魅力的な教授スタイルと複雑な概念を直感的に説明する能力で知られていた。彼の教科書『Adaptive Signal Processing』（1985年、S. D. スターンズと共著）はこの分野の標準的な参考文献となった。
また、彼は量子化ノイズの理論にも貢献し、『Quantization Noise: Roundoff Error in Digital Computation, Signal Processing, Control, and Communications』（2008年、I. コラーと共著）を出版した。この研究はデジタル信号処理と数値計算における根本的な問題を扱った。
晩年、ウィドローはサイバネティクスのより広いテーマを探求し、2023年に『Cybernetics 2.0』を出版した。彼は90代に入っても研究と執筆を続け、人工知能の進化とその影響について考察した。
アンクル・バーニーの法則
ウィドローは、機械学習におけるヒューリスティック「アンクル・バーニーの法則」の名前の由来となった。この法則は、訓練サンプルサイズはネットワークの重みの数の10倍であるべきと述べている。この経験則はニューラルネットワークコミュニティで過学習を避けるための実用的なガイドラインとして広く引用されている。これは、信頼できるモデル訓練には十分なデータが重要であるというウィドローの実用的な工学アプローチを反映している。
栄誉と賞
ウィドローはキャリアを通じて数多くの栄誉を受けた。1976年にIEEEフェロー、1980年に米国科学振興協会（AAAS）フェローに選出された。1984年にIEEEセンテニアルメダル、1986年にIEEEアレクサンダー・グラハム・ベルメダル、1991年にIEEEニューラルネットワークパイオニアメダルを受賞した。1995年には米国工学アカデミーに選出された。また、1999年にIEEE信号処理学会賞、2000年にIEEEミレニアムメダル、2001年にベンジャミン・フランクリンメダルを受賞した。2003年と2004年には国際ニューラルネットワーク学会の理事会メンバーを務めた。
遺産
バーナード・ウィドローの研究は、ニューラルネットワークと適応システムにおける多くの現代の発展の基礎を築いた。彼のLMSアルゴリズムは適応信号処理の要であり続け、彼の初期のニューラルネットワーク研究は後の深層学習の進歩を先取りした。ADALINEとMADALINEモデルは最初の実用的なニューラルネットワークの一つであり、多層ネットワークの訓練の難しさに関する彼の洞察はバックプロパゲーションの開発を予見した。
ウィドローの影響は技術的貢献を超えて広がる。彼は多くの研究者の指導者であり、信号処理と人工知能の分野を橋渡しした。彼のヒューリスティック「アンクル・バーニーの法則」は、機械学習実験の設計において実務者を導き続けている。彼の遺産は、通信、レーダー、生体医用工学における適応アルゴリズムの広範な使用と、ニューラルネットワーク研究の継続的な進化に明らかである。
出版物
ウィドローは影響力のある書籍や論文を多数執筆または共著した。注目すべき出版物には以下が含まれる：
- 1965年：「A critical comparison of two kinds of adaptive classification networks」（K. スタインブックと共著）、IEEE Transactions on Electronic Computers、pp. 737-740。
- 1985年：「Adaptive Signal Processing」（S. D. スターンズと共著）、プレンティスホール。
- 1994年：「Adaptive Inverse Control」（E. ワラッハと共著）、プレンティスホール。
- 2008年：「Quantization Noise: Roundoff Error in Digital Computation, Signal Processing, Control, and Communications」（I. コラーと共著）、ケンブリッジ大学出版局。
- 2023年：「Cybernetics 2.0」、シュプリンガー・ネイチャー・スイス。
これらの著作は広く引用され、電気工学およびコンピュータサイエンスのプログラムで教科書として使用されている。
参考文献
この記事は公開されている伝記情報とウィドロー自身の出版物に基づいている。主な情報源には彼の学術論文、教科書、インタビューが含まれる。さらなる読書については、IEEEおよびスタンフォード大学のアーカイブを参照のこと。