Aprendizado por reforço (RL) é um ramo do aprendizado de máquina no qual um agente aprende a agir em um ambiente por tentativa e erro, recebendo um sinal numérico de recompensa após cada ação e ajustando seu comportamento para maximizar a recompensa cumulativa que coleta ao longo do tempo. Diferentemente do aprendizado supervisionado, em que um modelo recebe a saída correta para cada entrada, o aprendizado por reforço nunca diz diretamente ao agente qual é a ação certa; ele apenas revela, às vezes muito depois do fato, se o resultado de uma sequência de ações foi bom ou ruim, uma estrutura conhecida como problema de atribuição de crédito.
Formulação formal e história
O aprendizado por reforço é tipicamente formalizado como um processo de decisão de Markov, no qual um agente observa um estado, escolhe uma ação, recebe uma recompensa e transita para um novo estado, repetindo esse ciclo enquanto aprende uma política que mapeia estados para ações de modo a maximizar a recompensa futura esperada. As bases matemáticas do campo remontam à programação dinâmica e à teoria de controle ótimo de meados do século XX, mas sua formulação moderna como uma disciplina distinta de aprendizado de máquina está intimamente associada a Richard Sutton e Andrew Barto, cujo livro se tornou a referência padrão do campo, e a pesquisadores que mais tarde lideraram o programa de aprendizado por reforço da DeepMind, incluindo David Silver.
Sucessos marcantes
Os sucessos mais visíveis publicamente do aprendizado por reforço vieram de jogos. O AlphaGo combinou redes neurais profundas com aprendizado por reforço e busca em árvore para derrotar o campeão mundial Lee Sedol no Go em 2016, um resultado amplamente visto como chegando anos antes das previsões de especialistas. Seu sucessor AlphaZero generalizou a abordagem, aprendendo xadrez, shogi e Go apenas por autojogo, sem dados humanos de jogos, partindo somente das regras. Esses sistemas demonstraram que um agente poderia alcançar desempenho sobre-humano em domínios complexos puramente por tentativa e erro orientada por recompensa, combinada com computação suficiente, uma ideia que Sutton articulou mais tarde como "a lição amarga": métodos gerais que aproveitam a computação tendem a superar abordagens que dependem de conhecimento humano artesanal, à medida que mais computação se torna disponível.
Técnicas
Os algoritmos de aprendizado por reforço se dividem em várias famílias. Métodos baseados em valor, como Q-learning e sua extensão de aprendizado profundo, as redes Q profundas, aprendem a estimar o valor de longo prazo de tomar uma determinada ação em um determinado estado. Métodos de gradiente de política aprendem diretamente uma função de política que gera ações, e métodos ator-crítico combinam ambas as abordagens. A Otimização de Política Proximal (PPO), desenvolvida em grande parte por John Schulman, tornou-se um dos algoritmos de gradiente de política mais amplamente usados devido à sua relativa estabilidade de treinamento e, mais tarde, desempenhou um papel central fora dos jogos, no alinhamento de modelos de linguagem de grande escala.
De jogos a modelos de linguagem
A relevância do aprendizado por reforço se ampliou dramaticamente com o RLHF (aprendizado por reforço a partir de feedback humano), no qual um modelo de recompensa treinado em julgamentos de preferência humana substitui uma função de recompensa codificada manualmente, e um LLM é então ajustado com um algoritmo como PPO para produzir saídas que pontuem alto de acordo com esse modelo de recompensa aprendido. Essa técnica foi central para transformar um modelo de linguagem de grande escala pré-treinado bruto em um assistente como o ChatGPT que segue instruções de forma confiável. Mais recentemente, o aprendizado por reforço aplicado diretamente a tarefas com resultados verificáveis automaticamente, como problemas de matemática com respostas verificáveis ou código que passa ou falha em testes, tornou-se a técnica-chave por trás de modelos de raciocínio como OpenAI o1 e DeepSeek-R1, que aprendem a produzir cadeias mais longas de raciocínio que melhoram sua precisão em problemas difíceis, uma abordagem frequentemente descrita sob o guarda-chuva de Test-time compute.
Limitações
O aprendizado por reforço é notoriamente ineficiente em termos de amostras, frequentemente exigindo muito mais interações de tentativa e erro do que um humano precisaria para aprender uma habilidade comparável, e é vulnerável a hacking de recompensa, em que um agente encontra uma maneira não intencional de maximizar seu sinal de recompensa que tecnicamente satisfaz o objetivo, mas falha na meta subjacente que deveria representar. Projetar uma função de recompensa que capture fielmente o comportamento pretendido, sem criar brechas que um agente otimizador possa explorar, continua sendo um dos desafios abertos persistentes do campo.