デイビッド・ルメルハートはアメリカの心理学者であり認知科学者で、1980年代の彼の研究は最初のAI冬の時代の後にニューラルネットワークのパラダイムを再活性化させるのに貢献した。彼はジェフリー・ヒントンおよびロナルド・J・ウィリアムズと共著した1986年の論文「Learning representations by back-propagating errors」で最もよく知られており、この論文は多層ネットワークが誤差勾配を層を通じて逆伝播させることで有用な内部表現を学習できることを示した。
経歴と貢献
ルメルハートは1967年にスタンフォード大学で数理心理学の博士号を取得し、キャリアの大半を人間の認知の研究に費やした後、心の計算モデルに転向した。カリフォルニア大学サンディエゴ校では、単純なニューロン様ユニットのネットワークが、人工知能への象徴的・ルールベースのアプローチが苦手としていた知覚、記憶、言語の側面を説明できるかどうかを探る認知科学者のグループに加わった。
バックプロパゲーションの背後にある数学は、特に1970年代の制御理論の研究で以前に記述されていたが、ルメルハートの1986年の論文は、この手法が隠れ層を持つネットワークを訓練して、単層のパーセプトロンが証明上解けない問題を解けることを実証し、1969年のパーセプトロンモデルに対する有名な批判に直接答えた。この論文は、ルメルハートがジェームズ・マクレランドと共編した2巻本『Parallel Distributed Processing』（1986年）とともに、認知科学における「コネクショニスト」学派の創始的テキストとなり、新興の神経計算の分野に厳密で汎用的な学習則を与えた。
ルメルハートは1987年にスタンフォード大学に移り、言語獲得や読書のためのネットワークを含む認知のコネクショニストモデルの研究を続けた。彼のアプローチは、心を多くの単純なユニットが並行して働き、経験を通じて結合重みを調整するシステムとして扱うもので、これは数十年後に十分なデータとGPU計算が利用可能になって同じ基本アーキテクチャのより大規模なバージョンを訓練できるようになった際に続く深層学習時代の多くを先取りする考え方だった。
後年と遺産
1990年代半ばにルメルハートは前頭側頭型認知症の一種であるピック病と診断され、研究キャリアを終えた。彼は2011年に亡くなった。認知科学学会は2001年にデイビッド・E・ルメルハート賞を設立し、人間の認知の形式的分析への顕著な貢献を表彰している。過去の受賞者には、後に彼の研究を機械学習およびニューラルネットワーク研究で発展させた研究者が複数含まれている。バックプロパゲーションは、適切な損失関数上の勾配降下法と組み合わせて洗練され、小さな分類器から今日の最大の大規模言語モデルシステムに至るまで、実質的にすべての現代のニューラルネットワークの核となる訓練方法であり続けている。