Policy-Gradient-Methoden sind eine Klasse von Reinforcement-Learning-Algorithmen und eine Unterklasse von Policy-Optimierungsmethoden. Im Gegensatz zu wertbasierten Methoden, die eine Wertfunktion lernen, um eine Policy abzuleiten, lernen Policy-Optimierungsmethoden direkt eine Policy-Funktion, die Aktionen auswählt, ohne eine Wertfunktion zu konsultieren. Damit Policy Gradient angewendet werden kann, muss die Policy-Funktion durch einen differenzierbaren Parameter, üblicherweise als Theta bezeichnet, parametrisiert sein, und das Ziel ist es, die erwartete kumulative Belohnung durch Gradientenaufstieg auf die Policy-Parameter zu maximieren.
Diese Methoden sind zentral für das moderne Reinforcement Learning und wurden in Bereichen wie Robotik, Spielen und autonomen Systemen angewendet. Sie sind besonders nützlich in Umgebungen mit kontinuierlichen Aktionsräumen, in denen wertbasierte Methoden oft Schwierigkeiten haben. Policy-Gradient-Methoden werden auch unter dem Titel „Monte-Carlo-Gradientenschätzung“ untersucht, da sie auf stochastischem Sampling zur Schätzung des Gradienten beruhen.
Überblick
Beim policy-basierten Reinforcement Learning ist der Akteur eine parametrisierte Policy-Funktion, die Zustände auf eine Wahrscheinlichkeitsverteilung über Aktionen abbildet. Für einen gegebenen Zustand gibt die Policy Wahrscheinlichkeiten für jede mögliche Aktion aus, wobei die Summe oder das Integral über alle Aktionen je nachdem, ob der Aktionsraum diskret oder kontinuierlich ist, 1 ergibt. Das Ziel ist es, Parameter zu finden, die die erwartete episodische Belohnung maximieren, die als die diskontierte Summe der Belohnungen über einen Zeithorizont, beginnend mit einem Anfangszustand, definiert ist.
Der Policy-Gradient ist der Gradient dieser erwarteten Belohnung in Bezug auf die Policy-Parameter. Verschiedene Policy-Gradient-Methoden schätzen diesen Gradienten auf unterschiedliche Weise stochastisch, aber alle zielen darauf ab, die Policy durch Aufsteigen des Gradienten iterativ zu verbessern. Die zentrale Herausforderung besteht darin, eine unverzerrte Schätzung des Gradienten mit geringer Varianz zu erhalten, was zu verschiedenen Techniken wie Baselines und Actor-Critic-Architekturen geführt hat.
REINFORCE
Der REINFORCE-Algorithmus, eingeführt von Ronald J. Williams im Jahr 1992, war die erste Policy-Gradient-Methode. Er basiert auf einer grundlegenden Identität, die den Policy-Gradienten als Erwartungswert über Trajektorien des Produkts aus dem Gradienten der Log-Policy und der Gesamtbelohnung ausdrückt. Eine wichtige Verbesserung ist der „Kausalitätstrick“, der jede Aktion nur mit Belohnungen ab diesem Zeitschritt gewichtet, was die Varianz reduziert, ohne Verzerrung einzuführen. REINFORCE ist eine Monte-Carlo-Methode, das heißt, sie verwendet vollständige Episoden zur Schätzung des Gradienten, was zu hoher Varianz führen kann, aber einfach zu implementieren ist.
Actor-Critic-Methoden
Actor-Critic-Methoden kombinieren Policy Gradient mit Wertfunktionsapproximation, um die Varianz zu reduzieren. Der Akteur ist das Policy-Netzwerk, während der Kritiker die Wertfunktion schätzt, die zur Berechnung einer Baseline oder einer Advantage-Funktion verwendet wird. Dies ermöglicht stabileres und sample-effizienteres Lernen im Vergleich zu reinem REINFORCE. Bekannte Beispiele sind A2C (Advantage Actor-Critic) und A3C (Asynchronous Advantage Actor-Critic), die im Deep Reinforcement Learning weit verbreitet sind.
Moderne Varianten
Moderne Policy-Gradient-Methoden umfassen Proximal Policy Optimization (PPO) und Trust Region Policy Optimization (TRPO), die das Policy-Update einschränken, um destruktive große Schritte zu vermeiden. Diese Methoden sind aufgrund ihrer Zuverlässigkeit und Leistung zum Standard im Deep Reinforcement Learning geworden. Sie werden zum Trainieren von Agenten für Spiele wie Dota 2 und StarCraft II sowie in der Robotik- und Forschung zum autonomen Fahren eingesetzt.
Anwendungen und Herausforderungen
Policy-Gradient-Methoden wurden in verschiedenen Bereichen angewendet, darunter Forschung zu künstlicher Intelligenz, Machine-Learning-Systeme und Deep-Learning-Frameworks. Sie sind besonders effektiv für kontinuierliche Steuerungsaufgaben wie robotische Manipulation und Fortbewegung. Sie stehen jedoch vor Herausforderungen wie hoher Sample-Komplexität und Empfindlichkeit gegenüber Hyperparametern. Die Forschung befasst sich weiterhin mit diesen Problemen, mit Fortschritten bei Neuronalen-Netzwerk-Architekturen und Optimierungstechniken.
Policy-Gradient-Methoden sind auch für das Training von Large Language Models relevant, wo Reinforcement Learning aus menschlichem Feedback (RLHF) policy-gradient-ähnliche Updates verwendet, um Modelle an menschliche Präferenzen anzupassen. Diese Verbindung unterstreicht die breite Anwendbarkeit dieser Algorithmen über traditionelle Reinforcement-Learning-Umgebungen hinaus.