Timothy P. Lillicrap é um neurocientista canadense e pesquisador de inteligência artificial. Ele é pesquisador científico sênior no Google DeepMind e professor adjunto na University College London. Sua pesquisa se concentra em aprendizado de máquina e estatística para controle ótimo e tomada de decisão, e ele usa esses arcabouços matemáticos para investigar como o cérebro aprende. Ele desenvolveu algoritmos para aplicar redes neurais profundas ao aprendizado por reforço e introduziu arquiteturas de memória recorrente para aprendizado de uma única exposição.
Lillicrap esteve envolvido nos projetos AlphaGo e AlphaZero na DeepMind, que alcançaram maestria nos jogos de Go, Xadrez e Shogi. Suas contribuições lhe renderam várias honrarias, incluindo a Medalha Acadêmica do Governador Geral, uma Bolsa NSERC, o Prêmio de Excelência do Centro de Estudos em Neurociência e múltiplas bolsas do Conselho Europeu de Pesquisa.
Início da Vida e Educação
Lillicrap obteve um B.Sc. em ciência cognitiva e inteligência artificial pela Universidade de Toronto em 2005. Em seguida, cursou um doutorado em neurociência de sistemas na Queen's University, concluindo-o em 2012 sob a supervisão de Stephen H. Scott. Sua tese de doutorado, intitulada "Modelling Motor Cortex using Neural Network Controls Laws", foi submetida ao Centro de Estudos em Neurociência da Queen's University.
Carreira na DeepMind
Após o doutorado, Lillicrap trabalhou como pesquisador de pós-doutorado na Universidade de Oxford. Em 2014, ingressou no Google DeepMind como pesquisador científico. Foi promovido a pesquisador científico sênior em 2016, posição que continuou a ocupar até 2021. Em 2016, também aceitou um cargo de professor adjunto na University College London.
Na DeepMind, Lillicrap contribuiu para o desenvolvimento do algoritmo de gradiente de política determinística profunda (DDPG), um método para controle contínuo com aprendizado por reforço. Ele coautorou o artigo de 2015 "Continuous Control with Deep Reinforcement Learning", que introduziu o DDPG e demonstrou sua eficácia em tarefas robóticas simuladas. Esse trabalho tem sido influente no campo da inteligência artificial e da robótica.
Contribuições de Pesquisa
A pesquisa de Lillicrap abrange várias áreas do aprendizado de máquina e da neurociência. Ele trabalhou em controle baseado em memória com redes neurais recorrentes, explorando como essas arquiteturas podem apoiar o aprendizado e a tomada de decisão. Seu artigo de 2015 com Nicolas Heess e David Silver abordou o controle baseado em memória, e trabalhos posteriores com Jack W. Rae e Peter Dayan introduziram aprendizado paramétrico rápido com memorização de ativação.
Ele também foi coautor do artigo de 2016 "Asynchronous Methods for Deep Reinforcement Learning", que introduziu o algoritmo A3C, e de vários artigos sobre Q-learning profundo contínuo e manipulação robótica. Seu trabalho em meta-aprendizado, como "Learning to Learn without Gradient Descent by Gradient Descent", contribuiu para a compreensão de como redes neurais podem adquirir novas habilidades de forma eficiente.
AlphaGo e AlphaZero
Lillicrap foi coautor do artigo seminal de 2016 na Nature, "Mastering the game of Go with deep neural networks and tree search", que descreveu o sistema AlphaGo. Ele também contribuiu para o artigo de 2017 na Nature, "Mastering the game of Go without human knowledge", que introduziu uma versão do AlphaGo que aprendia exclusivamente por meio de autojogo. Em 2017 e 2018, fez parte da equipe que desenvolveu o AlphaZero, um algoritmo geral de aprendizado por reforço que dominou xadrez, shogi e Go por meio de autojogo, conforme descrito no artigo da Science, "A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play."
Prêmios e Reconhecimento
Lillicrap recebeu inúmeros prêmios ao longo de sua carreira. Estes incluem a Bolsa NSERC, a Medalha Acadêmica do Governador Geral e o Prêmio de Excelência do Centro de Estudos em Neurociência. Ele também venceu o Torneio de Estratégias de Aprendizagem Social duas vezes e recebeu uma Bolsa de Prova de Conceito do Conselho Europeu de Pesquisa. Suas conquistas acadêmicas iniciais foram reconhecidas com a Bolsa de Entrada Howard Ferguson da University College e a Bolsa HPCVL / Sun Microsystems do Canadá, Inc. em Ciências e Engenharia Computacionais.
Publicações Selecionadas
Lillicrap tem um extenso histórico de publicações. Trabalhos-chave incluem:
- Timothy Lillicrap, Jonathan J. Hunt, Alexander Pritzel, Nicolas Heess, Tom Erez, Yuval Tassa, David Silver, Daan Wierstra (2015). "Continuous Control with Deep Reinforcement Learning." arXiv:1509.02971.
- David Silver, Aja Huang, Chris J. Maddison, et al. (2016). "Mastering the game of Go with deep neural networks and tree search." Nature, Vol. 529.
- Volodymyr Mnih, Adrià Puigdomènech Badia, Mehdi Mirza, Alex Graves, Timothy Lillicrap, et al. (2016). "Asynchronous Methods for Deep Reinforcement Learning." arXiv:1602.01783.
- David Silver, Julian Schrittwieser, Karen Simonyan, et al. (2017). "Mastering the game of Go without human knowledge." Nature, Vol. 550.
- David Silver, Thomas Hubert, Julian Schrittwieser, et al. (2018). "A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play." Science, Vol. 362, No. 6419.
Referências
O conteúdo deste artigo foi adaptado de Timothy Lillicrap na wiki Chess Programming, que é licenciado sob a licença Creative Commons Attribution-Share Alike 3.0 (Unported) (CC-BY-SA 3.0).