Deep Deterministic Policy Gradient (DDPG) ist ein Reinforcement-Learning-Algorithmus, der die Actor-Critic-Architektur mit tiefen neuronalen Netzen kombiniert, um kontinuierliche Aktionsräume zu bewältigen. Er wurde 2016 von Forschern bei Google DeepMind eingeführt, basiert auf dem Theorem des deterministischen Policy-Gradienten und übernimmt Techniken aus dem tiefen Q-Learning wie Experience Replay und Zielnetzwerke, um die Trainingsstabilität zu verbessern. DDPG ist für Umgebungen konzipiert, in denen Aktionen kontinuierliche Werte und keine diskreten Entscheidungen sind, was es für Steuerungsaufgaben in Robotik und Simulation geeignet macht.
Der Algorithmus arbeitet innerhalb des standardmäßigen Reinforcement-Learning-Rahmens, in dem ein Agent mit einer als Markov-Entscheidungsprozess modellierten Umgebung interagiert. Zu jedem Zeitschritt beobachtet der Agent einen Zustand, wählt eine Aktion aus, erhält eine Belohnung und wechselt in einen neuen Zustand. DDPG lernt eine Policy, die das kumulative Belohnungssignal maximiert, indem zwei neuronale Netze verwendet werden: ein Actor, der Zustände auf Aktionen abbildet, und ein Critic, der die erwartete Rendite für ein gegebenes Zustands-Aktions-Paar schätzt.
Algorithmus-Architektur
DDPG verwendet eine Actor-Critic-Architektur, die das Lernen von Policy und Wertefunktion trennt. Das Actor-Netzwerk gibt für einen gegebenen Zustand eine deterministische Aktion aus, während das Critic-Netzwerk die Qualität dieser Aktion bewertet, indem es die Aktions-Wertefunktion, oft als Q(s,a) bezeichnet, schätzt. Das Training wechselt zwischen der Aktualisierung des Critic, um echte Renditen besser anzunähern, und der Aktualisierung des Actors, um Aktionen auszuwählen, die die Schätzung des Critic maximieren.
Um die Stabilität zu verbessern, verwendet DDPG Zielnetzwerke mit weichen Aktualisierungen. Die Zielnetzwerke sind Kopien von Actor und Critic, die die gelernten Netzwerke langsam mit einem Mischparameter, typischerweise 0,001, verfolgen. Diese Technik reduziert das Risiko von Divergenz während des Trainings und stammt aus Methoden des tiefen Q-Learnings.
Exploration und Experience Replay
Da DDPG eine deterministische Policy lernt, adressiert es das Explorations-Exploitations-Dilemma, indem es während des Trainings Rauschen zur Aktionsauswahl hinzufügt, typischerweise unter Verwendung eines Ornstein-Uhlenbeck-Prozesses. Dies ermöglicht es dem Agenten, seine Umgebung zu erkunden, während er sich dennoch in Richtung optimalen Verhaltens bewegt. Der Algorithmus verwendet auch einen Replay-Puffer, der vergangene Übergänge speichert; während des Lernens werden Mini-Batches von Erfahrungen gleichmäßig aus diesem Puffer gezogen, um zeitliche Korrelationen zu brechen und die Stichprobeneffizienz zu verbessern. Diese Designentscheidungen ermöglichen es DDPG, kontinuierliche Aktionsräume zu bewältigen, die in Robotik und Steuerungsanwendungen üblich sind.
Algorithmus-Beschreibung
Der Kern von DDPG ist die Actor-Critic-Architektur. Der Critic wird trainiert, die Aktions-Wertefunktion mithilfe der Bellman-Gleichung anzunähern, indem der mittlere quadratische Fehler zwischen vorhergesagten und Ziel-Q-Werten minimiert wird. Der Actor wird mithilfe des Theorems des deterministischen Policy-Gradienten aktualisiert, das den Gradienten der erwarteten Rendite in Bezug auf die Parameter des Actors durch die Kettenregel auf die Ausgabe des Critic berechnet. Zielnetzwerke, die über weiche Ersetzung (Polyak-Mittelung) aktualisiert werden, stabilisieren das Training.
Kontinuierliche Aktionsräume
Im Gegensatz zu wertbasierten Methoden wie DQN, die diskrete Aktionen behandeln, gibt DDPG kontinuierliche Aktionen direkt aus einem Policy-Netzwerk aus. Dies wird erreicht, indem der Actor deterministische Aktionswerte anstelle von Wahrscheinlichkeiten über eine diskrete Menge erzeugt. Dies macht DDPG für Robotersteuerung, autonomes Fahren und andere Steuerungsaufgaben mit hochdimensionalen kontinuierlichen Aktionsräumen geeignet.
Anwendungen und Varianten
DDPG wurde in der Robotik, in simulierten Steuerungs-Benchmarks (z. B. MuJoCo) und in der Forschung zu selbstfahrenden Fahrzeugen angewendet. Es ist ein grundlegender Algorithmus für spätere Methoden wie Twin Delayed DDPG (TD3) und Soft Actor-Critic (SAC), die die Stichprobeneffizienz und Stabilität verbessern. DDPG ist auch eng mit deterministischen Policy-Gradienten-Methoden und Actor-Critic-Architekturen im Deep learning verwandt.
Beziehung zu anderen RL-Methoden
DDPG arbeitet innerhalb des breiteren Feldes des Machine learning und speziell des Reinforcement learning, in dem Agenten Policies aus Interaktionen lernen. Im Gegensatz zum Supervised learning benötigt DDPG keine gelabelten Daten; es lernt aus Belohnungssignalen. Seine Off-Policy-Natur ermöglicht es, vergangene Erfahrungen, die in einem Replay-Puffer gespeichert sind, wiederzuverwenden, was im Vergleich zu On-Policy-Algorithmen wie Policy-Gradienten-Methoden eine stichprobeneffiziente Lernweise ermöglicht. Als einer der frühen Deep-RL-Algorithmen für kontinuierliche Steuerung beeinflusste es die spätere Forschung im Bereich Artificial intelligence und autonomer Systeme.