Timothy P. Lillicrap es un neurocientífico e investigador de inteligencia artificial canadiense. Es investigador científico del personal en Google DeepMind y profesor adjunto en University College London. Su investigación se centra en el aprendizaje automático y la estadística para el control óptimo y la toma de decisiones, y utiliza estos marcos matemáticos para investigar cómo aprende el cerebro. Ha desarrollado algoritmos para aplicar redes neuronales profundas al aprendizaje por refuerzo y ha introducido arquitecturas de memoria recurrente para el aprendizaje de una sola muestra.
Lillicrap ha participado en los proyectos AlphaGo y AlphaZero en DeepMind, que lograron dominar los juegos de Go, ajedrez y shogi. Sus contribuciones le han valido varios reconocimientos, incluida la Medalla Académica del Gobernador General, una Beca NSERC, el Premio a la Excelencia del Centro de Estudios de Neurociencia y múltiples subvenciones del Consejo Europeo de Investigación.
Primeros años y educación
Lillicrap obtuvo una licenciatura en ciencias cognitivas e inteligencia artificial en la Universidad de Toronto en 2005. Posteriormente realizó un doctorado en neurociencia de sistemas en la Universidad de Queen, completándolo en 2012 bajo la supervisión de Stephen H. Scott. Su tesis doctoral, titulada "Modelado de la corteza motora mediante leyes de control de redes neuronales", fue presentada en el Centro de Estudios de Neurociencia de la Universidad de Queen.
Carrera en DeepMind
Tras su doctorado, Lillicrap trabajó como investigador posdoctoral en la Universidad de Oxford. En 2014, se unió a Google DeepMind como investigador científico. Fue ascendido a investigador científico del personal en 2016, puesto que ocupaba hasta 2021. En 2016, también aceptó un profesorado adjunto en University College London.
En DeepMind, Lillicrap contribuyó al desarrollo del algoritmo de gradiente de política determinista profundo (DDPG), un método para el control continuo con aprendizaje por refuerzo. Coautor del artículo de 2015 "Control continuo con aprendizaje por refuerzo profundo", que introdujo el DDPG y demostró su eficacia en tareas simuladas de robótica. Este trabajo ha sido influyente en el campo de la inteligencia artificial y la robótica.
Contribuciones a la investigación
La investigación de Lillicrap abarca varias áreas del aprendizaje automático y la neurociencia. Ha trabajado en el control basado en memoria con redes neuronales recurrentes, explorando cómo estas arquitecturas pueden respaldar el aprendizaje y la toma de decisiones. Su artículo de 2015 con Nicolas Heess y David Silver abordó el control basado en memoria, y trabajos posteriores con Jack W. Rae y Peter Dayan introdujeron el aprendizaje paramétrico rápido con memorización de activaciones.
También fue coautor del artículo de 2016 "Métodos asíncronos para el aprendizaje por refuerzo profundo", que introdujo el algoritmo A3C, y de varios artículos sobre Q-learning profundo continuo y manipulación robótica. Su trabajo sobre meta-aprendizaje, como "Aprender a aprender sin descenso de gradiente mediante descenso de gradiente", ha contribuido a comprender cómo las redes neuronales pueden adquirir nuevas habilidades de manera eficiente.
AlphaGo y AlphaZero
Lillicrap fue coautor del artículo histórico de 2016 en Nature, "Dominar el juego de Go con redes neuronales profundas y búsqueda en árboles", que describía el sistema AlphaGo. También contribuyó al artículo de 2017 en Nature, "Dominar el juego de Go sin conocimiento humano", que presentó una versión de AlphaGo que aprendía únicamente mediante auto-juego. En 2017 y 2018, formó parte del equipo que desarrolló AlphaZero, un algoritmo general de aprendizaje por refuerzo que dominó el ajedrez, el shogi y el Go, como se describió en el artículo de Science "Un algoritmo general de aprendizaje por refuerzo que domina el ajedrez, el shogi y el Go mediante auto-juego".
Premios y reconocimientos
Lillicrap ha recibido numerosos premios a lo largo de su carrera. Entre ellos se incluyen la Beca NSERC, la Medalla Académica del Gobernador General y el Premio a la Excelencia del Centro de Estudios de Neurociencia. También ha ganado dos veces el Torneo de Estrategias de Aprendizaje Social y ha recibido una subvención de prueba de concepto del Consejo Europeo de Investigación. Sus logros académicos tempranos fueron reconocidos con la Beca de Ingreso Howard Ferguson de University College y la Beca en Ciencias Computacionales e Ingeniería de HPCVL / Sun Microsystems de Canadá.
Publicaciones seleccionadas
Lillicrap tiene un extenso historial de publicaciones. Entre las obras clave se incluyen:
- Timothy Lillicrap, Jonathan J. Hunt, Alexander Pritzel, Nicolas Heess, Tom Erez, Yuval Tassa, David Silver, Daan Wierstra (2015). "Control continuo con aprendizaje por refuerzo profundo." arXiv:1509.02971.
- David Silver, Aja Huang, Chris J. Maddison, et al. (2016). "Dominar el juego de Go con redes neuronales profundas y búsqueda en árboles." Nature, vol. 529.
- Volodymyr Mnih, Adrià Puigdomènech Badia, Mehdi Mirza, Alex Graves, Timothy Lillicrap, et al. (2016). "Métodos asíncronos para el aprendizaje por refuerzo profundo." arXiv:1602.01783.
- David Silver, Julian Schrittwieser, Karen Simonyan, et al. (2017). "Dominar el juego de Go sin conocimiento humano." Nature, vol. 550.
- David Silver, Thomas Hubert, Julian Schrittwieser, et al. (2018). "Un algoritmo general de aprendizaje por refuerzo que domina el ajedrez, el shogi y el Go mediante auto-juego." Science, vol. 362, n.º 6419.
Referencias
El contenido de este artículo fue adaptado de Timothy Lillicrap en la wiki de ajedrez por computadora, que está licenciada bajo la Licencia Creative Commons Atribución-CompartirIgual 3.0 (no portada) (CC-BY-SA 3.0).