David Rumelhart foi um psicólogo e cientista cognitivo americano cujo trabalho na década de 1980 ajudou a reiniciar o paradigma das redes neurais após o primeiro inverno da IA. Ele é mais conhecido pelo artigo de 1986 "Learning representations by back-propagating errors", coautorado com Geoffrey Hinton e Ronald J. Williams, que mostrou que redes multicamadas poderiam aprender representações internas úteis propagando gradientes de erro para trás através de suas camadas.
Carreira e contribuições
Rumelhart obteve um doutorado em psicologia matemática pela Universidade de Stanford em 1967 e passou a maior parte de sua carreira estudando a cognição humana antes de se voltar para modelos computacionais da mente. Na Universidade da Califórnia, em San Diego, ele se juntou a um grupo de cientistas cognitivos que explorava se redes de unidades simples, semelhantes a neurônios, poderiam explicar aspectos da percepção, memória e linguagem com os quais as abordagens simbólicas e baseadas em regras da inteligência artificial tinham dificuldade.
Embora a matemática por trás da retropropagação tivesse sido descrita anteriormente, notavelmente em trabalhos de teoria de controle da década de 1970, o artigo de Rumelhart de 1986 demonstrou que a técnica poderia treinar redes com camadas ocultas para resolver problemas que um Perceptron de camada única comprovadamente não conseguia, respondendo diretamente a uma famosa crítica de 1969 ao modelo perceptron. O artigo, juntamente com o livro de dois volumes que Rumelhart coeditou com James McClelland, Parallel Distributed Processing (1986), tornou-se o texto fundador da escola "conexionista" dentro da ciência cognitiva e deu ao emergente campo da computação neural uma regra de aprendizado rigorosa e de propósito geral.
Rumelhart mudou-se para Stanford em 1987, onde continuou a trabalhar em modelos conexionistas da cognição, incluindo redes para aquisição de linguagem e leitura. Sua abordagem tratava a mente como um sistema de muitas unidades simples trabalhando em paralelo, ajustando seus pesos de conexão através da experiência, uma ideia que antecipou grande parte da era do aprendizado profundo que se seguiu décadas depois, quando dados suficientes e computação com GPUs se tornaram disponíveis para treinar versões muito maiores da mesma arquitetura básica.
Vida posterior e legado
Em meados da década de 1990, Rumelhart foi diagnosticado com a doença de Pick, uma forma de demência frontotemporal, que encerrou sua carreira de pesquisa. Ele faleceu em 2011. A Cognitive Science Society estabeleceu o Prêmio David E. Rumelhart em 2001 para reconhecer contribuições notáveis à análise formal da cognição humana, e os ganhadores anteriores incluem vários pesquisadores que posteriormente construíram sobre seu trabalho em pesquisa de aprendizado de máquina e redes neurais. A retropropagação, refinada e combinada com descida de gradiente sobre uma função de perda adequada, permanece como o método central de treinamento para praticamente todas as redes neurais modernas, desde classificadores pequenos até os maiores sistemas de modelos de linguagem de grande escala atuais.