Richard Sutton é um cientista da computação amplamente reconhecido como um dos fundadores do aprendizado por reforço moderno, o ramo do aprendizado de máquina que trata de agentes que aprendem por tentativa e erro a partir de sinais de recompensa.
Carreira e contribuições
Sutton obteve um PhD em ciência da computação pela Universidade de Massachusetts Amherst em 1984, trabalhando com Andrew Barto, com quem desenvolveu o aprendizado por diferença temporal (TD), um método para atualizar estimativas de valor com base na diferença entre previsões sucessivas, em vez de esperar por um resultado final. O aprendizado TD tornou-se uma das ideias algorítmicas centrais no aprendizado por reforço, sendo posteriormente combinado com a aproximação de funções por redes neurais em sistemas que vão desde o TD-Gammon, jogador de gamão de Gerald Tesauro na década de 1990, até o AlphaGo e seus sucessores, desenvolvidos décadas depois no Google DeepMind por pesquisadores como David Silver, que estudou sob a orientação de Sutton. O livro-texto de Sutton e Barto, Reinforcement Learning: An Introduction, publicado pela primeira vez em 1998, continua sendo a referência padrão na área.
Sutton passou grande parte de sua carreira posterior como professor na Universidade de Alberta e como cientista pesquisador distinto no laboratório do Google DeepMind em Alberta, além de atuar como conselheiro científico chefe do Alberta Machine Intelligence Institute (Amii), um dos polos que ajudaram a estabelecer o Canadá como um centro de pesquisa em aprendizado por reforço.
"A Lição Amarga"
Em 2019, Sutton publicou um ensaio curto e amplamente discutido intitulado "The Bitter Lesson" (A Lição Amarga), argumentando que, ao longo da história da pesquisa em IA, métodos de propósito geral que aproveitam o aumento do poder computacional, como busca e aprendizado, superaram consistentemente abordagens que dependem da codificação manual de conhecimento humano de domínio, e que os pesquisadores resistem repetidamente a essa lição porque ela pode parecer uma desistência da compreensão. O ensaio tornou-se uma referência em debates sobre leis de escala e o design de sistemas de modelos de linguagem de grande porte, sendo frequentemente invocado para justificar a priorização de escala e algoritmos gerais em detrimento de heurísticas artesanais, e é muitas vezes lido em conjunto com trabalhos mais recentes sobre computação em tempo de teste e sistemas de modelos de raciocínio que usam treinamento no estilo aprendizado por reforço em tarefas verificáveis.
Sutton dividiu o Prêmio Turing de 2024 com Andrew Barto "pelo desenvolvimento dos fundamentos conceituais e algorítmicos do aprendizado por reforço", um reconhecimento que veio quando as técnicas de aprendizado por reforço, incluindo RLHF, tornaram-se centrais não apenas para sistemas de jogos, mas também para alinhar o comportamento da IA conversacional moderna.