David Rumelhart war ein amerikanischer Psychologe und Kognitionswissenschaftler, dessen Arbeiten in den 1980er-Jahren dazu beitrugen, das Paradigma der neuronalen Netze nach dem ersten KI-Winter wiederzubeleben. Bekannt wurde er vor allem durch den 1986 veröffentlichten Artikel „Learning representations by back-propagating errors", den er zusammen mit Geoffrey Hinton und Ronald J. Williams verfasste und der zeigte, dass mehrschichtige Netze nützliche interne Repräsentationen lernen können, indem Fehlergradienten rückwärts durch ihre Schichten propagiert werden.
Karriere und Beiträge
Rumelhart promovierte 1967 in mathematischer Psychologie an der Stanford University und verbrachte den Großteil seiner Karriere mit der Erforschung menschlicher Kognition, bevor er sich Computermodellen des Geistes zuwandte. An der University of California in San Diego schloss er sich einer Gruppe von Kognitionswissenschaftlern an, die untersuchten, ob Netzwerke aus einfachen, neuronartigen Einheiten Aspekte von Wahrnehmung, Gedächtnis und Sprache erklären können, mit denen symbolische, regelbasierte Ansätze der künstlichen Intelligenz Schwierigkeiten hatten.
Obwohl die Mathematik hinter dem Backpropagation bereits früher beschrieben worden war, insbesondere in Arbeiten zur Regelungstheorie aus den 1970er-Jahren, zeigte Rumelharts Artikel von 1986, dass die Technik Netzwerke mit verborgenen Schichten trainieren konnte, um Probleme zu lösen, die ein einschichtiges Perzeptron nachweislich nicht lösen konnte - eine direkte Antwort auf eine berühmte Kritik des Perzeptron-Modells aus dem Jahr 1969. Der Artikel zusammen mit dem zweibändigen Buch Parallel Distributed Processing (1986), das Rumelhart gemeinsam mit James McClelland herausgab, wurde zum Gründungstext der „konnektionistischen" Schule innerhalb der Kognitionswissenschaft und gab dem aufkommenden Gebiet der neuronalen Berechnung eine rigorose, allgemein anwendbare Lernregel.
Rumelhart wechselte 1987 nach Stanford, wo er weiterhin an konnektionistischen Modellen der Kognition arbeitete, darunter Netzwerke für Spracherwerb und Lesen. Sein Ansatz behandelte den Geist als ein System aus vielen einfachen Einheiten, die parallel arbeiten und ihre Verbindungsgewichte durch Erfahrung anpassen - eine Idee, die viel von der späteren Deep-Learning-Ära vorwegnahm, die Jahrzehnte später begann, als ausreichend Daten und GPU-Rechenleistung verfügbar waren, um viel größere Versionen derselben grundlegenden Architektur zu trainieren.
Späteres Leben und Vermächtnis
Mitte der 1990er-Jahre wurde bei Rumelhart die Pick-Krankheit diagnostiziert, eine Form der frontotemporalen Demenz, die seine Forschungskarriere beendete. Er starb 2011. Die Cognitive Science Society richtete im Jahr 2001 den David E. Rumelhart Prize ein, um herausragende Beiträge zur formalen Analyse menschlicher Kognition zu würdigen; zu den bisherigen Preisträgern gehören mehrere Forscher, die später auf seiner Arbeit in der Maschinenlern- und Neuronale-Netze-Forschung aufbauten. Backpropagation, verfeinert und kombiniert mit Gradientenabstieg über einer geeigneten Verlustfunktion, bleibt die zentrale Trainingsmethode für praktisch alle modernen neuronalen Netze, von kleinen Klassifikatoren bis hin zu den heutigen größten Large-Language-Model-Systemen.