Proximal Policy Optimization (PPO) ist ein Reinforcement-Learning-Algorithmus (RL), der verwendet wird, um einen intelligenten Agenten zu trainieren, Entscheidungen in einer Umgebung zu treffen. Er gehört zur Familie der Policy-Gradient-Methoden, die die Policy direkt optimieren, indem sie die Gradienten der erwarteten Belohnung schätzen. PPO eignet sich besonders für Deep RL, bei dem die Policy durch ein großes neuronales Netz dargestellt wird, und hat sich aufgrund seiner Ausgewogenheit zwischen Einfachheit, Stabilität und Stichprobeneffizienz zum Standard für viele Anwendungen entwickelt.
Der Algorithmus wurde 2017 als Näherung des Trust Region Policy Optimization (TRPO) eingeführt, einer früheren Methode, die darauf abzielte, das Training zu stabilisieren, indem sie begrenzte, wie stark sich die Policy bei jedem Update ändern durfte. PPO vereinfacht dies durch eine abgeschnittene Zielfunktion (clipped objective function), wodurch der rechenintensive Aufwand der Second-Order-Methoden von TRPO vermieden wird. Seit 2018 ist PPO der Standard-RL-Algorithmus bei OpenAI und wurde in Bereichen von Robotik bis hin zu Spielen eingesetzt.
Kernmechanismus
PPO ist ein On-Policy-Algorithmus, das heißt, er aktualisiert die Policy mithilfe von Daten, die mit der aktuellen Version der Policy gesammelt wurden. Die Kernidee besteht darin, mehrere Schritte des Gradientenanstiegs auf der Policy durchzuführen, während sichergestellt wird, dass sich die neue Policy nicht zu weit von der alten entfernt. Dies wird durch eine abgeschnittene Surrogat-Zielfunktion erreicht, die Änderungen bestraft, die das Wahrscheinlichkeitsverhältnis zwischen neuer und alter Policy zu groß oder zu klein machen.
Die Zielfunktion ist so gestaltet, dass sie eine konservative Schätzung der Verbesserung der Policy liefert. Durch das Abschneiden (Clipping) des Verhältnisses verhindert PPO übermäßig große Updates, die das Training destabilisieren könnten – ein häufiges Problem bei Policy-Gradient-Methoden. Dieser Mechanismus ist rechnerisch effizient, da er nur Optimierung erster Ordnung erfordert, im Gegensatz zu TRPO, das die Hesse-Matrix verwendet.
Beziehung zu TRPO
TRPO wurde 2015 veröffentlicht und behandelte Instabilitätsprobleme früherer Algorithmen wie des Deep Q-Networks (DQN), indem es eine Trust-Region-Methode verwendete, um die KL-Divergenz zwischen alter und neuer Policy zu begrenzen. Die Durchsetzung dieser Einschränkung erforderte jedoch die Berechnung der Hesse-Matrix, was bei großen Problemen ineffizient ist. PPO wurde als Näherung entwickelt, die diese Berechnung vermeidet, indem sie den Policy-Gradienten stattdessen direkt beschneidet. Dadurch ist PPO einfacher zu implementieren und abzustimmen und erzielt in vielen Aufgaben eine vergleichbare oder bessere Leistung.
Anwendungen
PPO wurde sowohl in der Forschung als auch in der Industrie weit verbreitet eingesetzt. Bei OpenAI war es der Standardalgorithmus zum Trainieren von Agenten in verschiedenen Umgebungen. Eine bemerkenswerte Anwendung war OpenAI Five, ein System, das 2019 professionelle Spieler im Videospiel Dota 2 besiegte. PPO wurde auch zur Steuerung von Roboterarmen, zum Spielen von Atari-Spielen und in anderen Bereichen eingesetzt, die sequenzielle Entscheidungsfindung erfordern. Aufgrund seiner Robustheit und Benutzerfreundlichkeit ist es bei Praktikern des maschinellen Lernens im Bereich Reinforcement Learning sehr beliebt.
Varianten und Erweiterungen
Es wurden mehrere Varianten von PPO vorgeschlagen, um spezifische Herausforderungen zu adressieren. Einige Versionen verwenden beispielsweise adaptives Clipping oder unterschiedliche Techniken zur Schätzung des Vorteils (advantage estimation). PPO wird auch häufig mit anderen Methoden kombiniert, etwa mit Deep-Learning-Architekturen, um hochdimensionale Beobachtungen zu verarbeiten. Der Einfluss des Algorithmus hat die nachfolgende RL-Forschung geprägt, und er bleibt ein Maßstab, an dem neuere Algorithmen gemessen werden.