Aprendizado por reforço inverso ( IRL, do inglês inverse reinforcement learning) é um subcampo do aprendizado de máquina que visa inferir a função de recompensa de um agente inteligente a partir de seu comportamento observado, tipicamente na forma de demonstrações. Em contraste com o aprendizado por reforço padrão, onde um agente aprende uma política para maximizar um sinal de recompensa conhecido, o IRL aborda o problema inverso: dada um conjunto de trajetórias de especialistas, recuperar a função de recompensa que o especialista está implicitamente otimizando. Isso é particularmente útil em cenários onde especificar uma função de recompensa manualmente é difícil, como em robótica, direção autônoma, ou modelagem de comportamento humano. O IRL está intimamente relacionado ao aprendizado por aprendizagem, onde o objetivo é aprender uma política a partir de demonstrações, frequentemente primeiro recuperando a função de recompensa e depois otimizando-a.
O cenário formal para o IRL é tipicamente um processo de decisão de Markov ( MDP, definido por um espaço de estados, um espaço de ações, probabilidades de transição, e uma função de recompensa. No RL padrão, a função de recompensa é dada, e o agente busca uma política ótima. No IRL, a função de recompensa é desconhecida, e o algoritmo deve estimá-la a partir de pares estado-ação observados. Assume-se que o comportamento observado é quase-ótimo com respeito à verdadeira função de recompensa, embora na prática as demonstrações possam ser ruidosas ou subótimas. Algoritmos de IRL frequentemente usam técnicas de mecanismos de aprendizado bayesiano para modelar incerteza sobre a recompensa, ou de otimização para encontrar uma recompensa que explique os dados.
Contexto Histórico
O conceito de aprendizado por reforço inverso foi formalizado no final dos anos 1990 e início dos anos 2000. Um artigo seminal de Andrew Ng e Stuart Russell em 2000 introduziu o problema e propôs um algoritmo baseado em programação linear. Posteriormente, Pieter Abbeel e Andrew Ng (2004) desenvolveram o framework de aprendizado por aprendizagem, que usa IRL para aprender uma política que corresponda ao desempenho do especialista. Esse trabalho lançou as bases para muitas abordagens subsequentes, incluindo IRL de entropia máxima (Ziebart et al.,, 2008) e IRL bayesiano( Ramachandran e Amir,, 2007.. Esses métodos têm sido aplicados em campos como robótica, onde robôs aprendem tarefas a partir de demonstrações humanas, e em teoria dos jogos para modelar comportamento estratégico.
Algoritmos Principais
Existem várias famílias de algoritmos para IRL. A abordagem mais antiga, proposta por Ng e Russell, assume uma função de recompensa linear sobre características e usa programação linear para encontrar uma recompensa que torne a política do especialista ótima. O algoritmo de aprendizado por aprendizagem iteraativamente computa uma política que maximiza a margem entre as expectativas de características do especialista e as do aprendiz, refinando a estimativa de recompensa. O IRL de entropia máxima modela o comportamento do especialista como uma distribuição de probabilidade sobre trajetórias, com maior probabilidade para maior recompensa cumulativa, e usa otimização baseada em gradiente para ajustar os parâmetros de recompensa. O IRL bayesiano trata a recompensa como uma variável aleatória com um prior, atualizando para um posterior dadas as demonstrações observadas, o que fornece uma medida de incerteza. Métodos mais recentes incorporam aprendizado profundo para lidar com espaços de estados de alta dimensão, como IRL profundo e IRL adversário, que usam redes neurais para representar a função de recompensa.
Aplicações
O IRL encontrou aplicações em diversos domínios. Em robótica, ele permite que robôs aprendam tarefas de manipulação ou navegação a partir de demonstrações humanas, evitando a necessidade de funções de recompensa artesanais. Em direção autônoma, o IRL pode inferir preferências de motoristas a partir de trajetórias registradas, ajudando a projetar políticas de direção mais humanas. Em modelagem de comportamento humano, o IRL é usado para entender tomada de decisão em contextos econômicos ou sociais. Também tem sido aplicado em aprendizado por reforço para teoria dos jogos para modelar estratégias de oponentes. Em saúde, o IRL pode inferir preferências de pacientes a partir de decisões clínicas, potencialmente melhorando tratamento personalizado. No entanto, o IRL é computacionalmente desafiador, especialmente em grandes espaços de estados, e frequentemente requer engenharia cuidadosa de características ou aproximação de funções.
Desafios e Limitações
Um desafio fundamental no IRL é a natureza mal-posta do problema: muitas funções de recompensa podem explicar o mesmo comportamento observado. Por exemplo, uma recompensa que é zero em todos os lugares torna qualquer política ótima, então suposições adicionais ou priores são necessários. Soluções comuns incluem assumir que o especialista é ótimo, usar entropia máxima para selecionar a recompensa menos enviesada, ou incorporar conhecimento prévio. Outra questão é a necessidade de demonstrações suficientes e diversas; se o especialista apenas mostra um conjunto estreito de comportamentos, a recompensa inferida pode ser superajustada. Escalabilidade também é uma preocupação, pois muitos algoritmos de IRL exigem resolver o problema de RL repetidamente, o que é caro. Finalmente, o IRL assume que o comportamento do especialista é consistente com uma única função de recompensa, o que pode não se manter em cenários multiagente ou não estacionários.
Relação com Outros Paradigmas de Aprendizado
O IRL situa-se entre o aprendizado supervisionado e o aprendizado por reforço. Diferente do aprendizado supervisionado, que mapeia estados diretamente para ações, o IRL busca um modelo explicativo mais profundo na forma de uma função de recompensa. Diferente do RL padrão, que assume uma recompensa conhecida, o IRL relaxa essa suposição. Também está relacionado ao aprendizado não supervisionado na medida em que extrai estrutura latente(a recompensa) de dados não rotulados, embora os dados sejam tipicamente sequenciais. O IRL pode ser combinado com aprendizado ativo para selecionar demonstrações informativas, ou com aprendizado de poucos exemplos para inferir recompensas a partir de muito poucos exemplos. No contexto mais amplo da inteligência artificial, o IRL é um componente chave do aprendizado por aprendizagem e é usado em pipelines de aprendizado por reforço profundo para inicializar ou moldar funções de recompensa.
Ver Também
- aprendizado por aprendizagem
- processo de decisão de Markov
- aprendizado por reforço
- mecanismos de aprendizado bayesiano