O dilema de exploração-versus-explotação, também conhecido como tradeoff entre explorar e explorar, é um conceito central na tomada de decisão que aparece em campos que vão da economia à inteligência artificial. Ele envolve equilibrar duas estratégias opostas: explotação, que significa selecionar a melhor opção com base no conhecimento atual (que pode ser incompleto ou enganoso), e exploração, que significa tentar novas opções que podem levar a melhores resultados futuros ao custo de abrir mão de uma oportunidade de explotação. O objetivo de otimizar recompensas de longo prazo exige resolver esse equilíbrio de forma eficaz.
Em aprendizado de máquina, o tradeoff é fundamental para o aprendizado por reforço (RL), um tipo de aprendizado em que um agente toma decisões com base em feedback de um ambiente, que pode ser atrasado ou escasso. O agente deve decidir se explota uma política atualmente conhecida como melhor ou se explora novas políticas para melhorar o desempenho futuro. O dilema aparece em domínios como direção autônoma, sistemas de recomendação e IA para jogos.
Métodos de Bandido Multi-Arms
O problema do bandido multi-armado (MAB) é um exemplo clássico do tradeoff, e muitos métodos foram desenvolvidos para ele. O epsilon-greedy é uma abordagem simples em que o agente explota a melhor ação conhecida na maioria das vezes, mas escolhe uma ação aleatória com probabilidade epsilon. A amostragem de Thompson equilibra exploração e explotação mantendo distribuições posteriores sobre recompensas e amostrando delas. Algoritmos de limite de confiança superior (UCB) selecionam ações comparando recompensas médias com bônus de incerteza.
Em configurações mais complexas, um agente pode tratar cada ponto de decisão como um MAB em que o pagamento é a recompensa futura esperada. Por exemplo, a busca em árvore de Monte Carlo usa uma variante de UCB para guiar a exploração da árvore de jogo, como visto em programas como motores de xadrez.
Problemas de Exploração
Certos ambientes criam desafios específicos para o tradeoff.
Recompensa escassa: se recompensas aparecem apenas raramente, os agentes podem não persistir na exploração. Um exemplo padrão é o jogo Atari Montezuma's Revenge, onde recompensas claras são escassas.
Recompensa enganosa: quando algumas ações iniciais dão recompensas imediatas, mas pequenas, e outras dão recompensas maiores e atrasadas, os agentes podem ficar presos explorando as pequenas recompensas iniciais.
Problema da TV ruidosa: se algumas observações são irremediavelmente ruidosas, como uma televisão com imagens aleatórias, um agente pode ficar preso observando repetidamente esses estados imprevisíveis.
Esses problemas dificultam alcançar um equilíbrio ótimo, exigindo técnicas adicionais para guiar a exploração.
Métodos de Recompensa de Exploração
Métodos de recompensa de exploração convertem o dilema em um problema puramente de explotação ao tratar a exploração como uma forma de recompensa intrínseca. O agente então visa maximizar a soma da recompensa extrínseca do ambiente e do bônus intrínseco de exploração. Recompensas intrínsecas e extrínsecas são escritas como r_t^e e r_t^i no passo de tempo t.
Essa abordagem difere da explotação de duas maneiras principais: primeiro, a recompensa de exploração é livremente projetada pelo pesquisador, enquanto recompensas externas são dadas pelo ambiente; segundo, enquanto recompensas extrínsecas são geralmente estacionárias, recompensas intrínsecas são não estacionárias, o que significa que a mesma ação gera cada vez menos bônus à medida que se torna familiar.
Exploração baseada em contagem mede com que frequência um estado é visitado e recompensa estados menos visitados, mas isso só é viável em espaços de estado pequenos e discretos. A exploração baseada em densidade estende isso usando um modelo de densidade, onde visitar um estado também dá crédito parcial a estados próximos.
A exploração de entropia máxima adiciona a entropia da política do agente como um termo intrínseco, incentivando uma política que favorece ações aleatórias ou diversas.
Exploração Baseada em Predição
Um modelo de dinâmica direta prevê o próximo estado a partir do estado e ação atuais: f: (s_t, a_t) mapeado para s_{t+1}. À medida que o agente interage com o ambiente, ele treina esse modelo para se tornar melhor em prever transições de estado para caminhos familiares. Um bônus de exploração baseado em predição define recompensa intrínseca como o erro entre previsões do modelo e próximos estados reais. Quando um estado é novo, o erro do modelo é alto, tornando essa ação atraente.
A exploração por predição é particularmente útil em espaços de estado de alta dimensão onde contagens não podem ser usadas. Os erros do modelo servem como uma estimativa de surpresa, o que incentiva o agente a buscar estados que são mais difíceis de prever, promovendo exploração mais ampla sem orientação externa. Este método é amplamente usado em sistemas recentes de aprendizado profundo por reforço.