David Rumelhart était un psychologue et scientifique cognitif américain dont les travaux dans les années 1980 ont contribué à relancer le paradigme des réseaux de neurones après le premier hiver de l'IA. Il est surtout connu pour l'article de 1986 « Learning representations by back-propagating errors », coécrit avec Geoffrey Hinton et Ronald J. Williams, qui a montré que les réseaux multicouches pouvaient apprendre des représentations internes utiles en propageant les gradients d'erreur vers l'arrière à travers leurs couches.
Carrière et contributions
Rumelhart a obtenu un doctorat en psychologie mathématique à l'Université Stanford en 1967 et a passé la majeure partie de sa carrière à étudier la cognition humaine avant de se tourner vers les modèles computationnels de l'esprit. À l'Université de Californie à San Diego, il a rejoint un groupe de scientifiques cognitifs explorant si des réseaux d'unités simples, semblables à des neurones, pouvaient expliquer des aspects de la perception, de la mémoire et du langage que les approches symboliques et basées sur des règles de l'intelligence artificielle peinaient à traiter.
Bien que les mathématiques sous-jacentes à la rétropropagation aient été décrites plus tôt, notamment dans des travaux de théorie du contrôle des années 1970, l'article de Rumelhart de 1986 a démontré que cette technique pouvait entraîner des réseaux avec des couches cachées à résoudre des problèmes qu'un Perceptron monocouche ne pouvait pas résoudre, répondant directement à une célèbre critique de 1969 du modèle perceptron. Cet article, ainsi que le livre en deux volumes coédité par Rumelhart avec James McClelland, Parallel Distributed Processing (1986), est devenu le texte fondateur de l'école « connectionniste » au sein des sciences cognitives et a donné au domaine émergent du calcul neuronal une règle d'apprentissage rigoureuse et générale.
Rumelhart a déménagé à Stanford en 1987, où il a continué à travailler sur des modèles connectionnistes de la cognition, y compris des réseaux pour l'acquisition du langage et la lecture. Son approche traitait l'esprit comme un système de nombreuses unités simples fonctionnant en parallèle, ajustant leurs poids de connexion par l'expérience, une idée qui anticipait une grande partie de l'ère du apprentissage profond qui a suivi des décennies plus tard, une fois que des données suffisantes et une puissance de calcul GPU sont devenues disponibles pour entraîner des versions beaucoup plus grandes de la même architecture de base.
Vie ultérieure et héritage
Au milieu des années 1990, Rumelhart a été diagnostiqué avec la maladie de Pick, une forme de démence frontotemporale, ce qui a mis fin à sa carrière de recherche. Il est décédé en 2011. La Cognitive Science Society a créé le prix David E. Rumelhart en 2001 pour reconnaître des contributions exceptionnelles à l'analyse formelle de la cognition humaine, et les anciens lauréats incluent plusieurs chercheurs qui ont ensuite bâti sur ses travaux dans la recherche en apprentissage automatique et en réseaux de neurones. La rétropropagation, affinée et combinée avec la descente de gradient sur une fonction de perte appropriée, reste la méthode d'entraînement centrale pour pratiquement tous les réseaux de neurones modernes, des petits classifieurs aux plus grands systèmes de modèles de langage actuels.