Andrew Gehret Barto (nacido en 1948) es un informático estadounidense y profesor emérito de informática en la Universidad de Massachusetts Amherst. Es ampliamente reconocido como un pionero del aprendizaje por refuerzo computacional moderno, un campo que sustenta muchos avances en inteligencia artificial y aprendizaje automático. Su trabajo, particularmente con su antiguo estudiante de doctorado Richard S. Sutton, estableció los fundamentos conceptuales y algorítmicos de cómo los agentes aprenden de recompensas en entornos inciertos.
La investigación de Barto ha sido fundamental para llevar el aprendizaje por refuerzo de ideas teóricas a algoritmos prácticos, influyendo en áreas que van desde la robótica hasta los juegos. Su libro de texto, Reinforcement Learning: An Introduction, se ha convertido en una referencia estándar en el campo, y sus contribuciones fueron reconocidas con el Premio ACM A.M. Turing 2024, a menudo llamado el 'Premio Nobel de la computación'.
Vida Temprana y Educación
Andrew Gehret Barto nació en 1948. Inicialmente estudió arquitectura naval e ingeniería en la Universidad de Míchigan, pero tras encontrar el trabajo de Michael Arbib, Warren Sturgis McCulloch y Walter Pitts, se fascinó con el uso de computadoras y matemáticas para modelar el cerebro. Cambió su enfoque y obtuvo una licenciatura con distinción en matemáticas en 1970. Continuó en Míchigan, completando un doctorado en informática en 1975 con una tesis sobre autómatas celulares.
Carrera Académica en UMass Amherst
En 1977, Barto se unió a la Facultad de Ciencias de la Información y la Computación de la Universidad de Massachusetts Amherst como asociado de investigación posdoctoral. Ascendió en el escalafón, convirtiéndose en profesor asociado en 1982 y profesor titular en 1991. Se desempeñó como jefe del departamento de 2007 a 2011 y fue miembro principal del programa de Neurociencia y Comportamiento.
En UMass, Barto codirigió el Laboratorio de Aprendizaje Autónomo (inicialmente el Laboratorio de Redes Adaptativas), que se convirtió en un centro para la investigación del aprendizaje por refuerzo. Su estudiante de doctorado, Richard Sutton, colaboró con él en ideas clave, y juntos desarrollaron el marco matemático que definiría el campo.
Fundamentos del Aprendizaje por Refuerzo
Cuando Barto comenzó en UMass, se unió a un grupo que exploraba cómo el comportamiento de las neuronas en el cerebro podría servir como base para la inteligencia, un concepto avanzado por A. Harry Klopf. Barto y Sutton utilizaron procesos de decisión de Markov (MDP) como base matemática para explicar cómo los agentes toman decisiones en entornos estocásticos, recibiendo recompensas después de cada acción. La teoría tradicional de MDP asumía que los agentes tenían conocimiento completo del entorno; la innovación de Barto y Sutton permitió entornos y recompensas desconocidos, haciendo que los algoritmos fueran aplicables a una amplia gama de problemas del mundo real.
Su trabajo sentó las bases del aprendizaje por refuerzo moderno, que más tarde impulsó avances como el AlphaGo de Google derrotando a campeones humanos. La técnica se ha convertido en una piedra angular del auge moderno de la IA, influyendo en la investigación de aprendizaje profundo y redes neuronales.
Publicaciones e Influencia
Barto ha publicado más de cien artículos y capítulos en revistas, libros y actas de conferencias. Su trabajo más influyente es el libro de texto Reinforcement Learning: An Introduction, coescrito con Richard Sutton, publicado por primera vez por MIT Press en 1998, con una segunda edición en 2018. También coeditó el Handbook of Learning and Approximate Dynamic Programming (Wiley-IEEE Press, 2004) con Jennie Si, Warren Powell y Don Wunch II.
Su investigación ha influido directamente en muchas áreas, incluyendo robótica, juegos y sistemas autónomos, y sus ideas son integrales para el desarrollo de grandes modelos de lenguaje y IA generativa.
Premios y Honores
Barto ha recibido numerosos reconocimientos por sus contribuciones. Es miembro de la Asociación Estadounidense para el Avance de la Ciencia, miembro y miembro senior del IEEE, y miembro de la Asociación Estadounidense de Inteligencia Artificial y la Sociedad de Neurociencia. Recibió el Premio Pionero de la Sociedad de Redes Neuronales del IEEE en 2004, el Premio IJCAI a la Excelencia en Investigación en 2017 y el Premio a la Trayectoria en Neurociencias de UMass en 2019.
En 2024, fue galardonado con el Premio Turing de la Asociación de Maquinaria Computacional junto con Richard S. Sutton, con la cita: 'Por desarrollar los fundamentos conceptuales y algorítmicos del aprendizaje por refuerzo'. Este honor consolidó su estatus como figura fundacional en el campo.