Reinforcement Learning (RL) ist ein Zweig des maschinellen Lernens, bei dem ein Agent durch Versuch und Irrtum lernt, innerhalb einer Umgebung zu handeln, nach jeder Aktion ein numerisches Belohnungssignal erhält und sein Verhalten anpasst, um die kumulative Belohnung zu maximieren, die er im Laufe der Zeit sammelt. Im Gegensatz zum überwachten Lernen, bei dem einem Modell für jede Eingabe die korrekte Ausgabe gezeigt wird, teilt das Reinforcement Learning dem Agenten die richtige Aktion nie direkt mit; es offenbart nur, manchmal erst lange nach dem Ereignis, ob das Ergebnis einer Sequenz von Aktionen gut oder schlecht war - eine Struktur, die als Problem der Kreditzuweisung bekannt ist.
Formaler Rahmen und Geschichte
Reinforcement Learning wird typischerweise als Markov-Entscheidungsprozess formalisiert, bei dem ein Agent einen Zustand beobachtet, eine Aktion wählt, eine Belohnung erhält und in einen neuen Zustand übergeht, wobei dieser Kreislauf wiederholt wird, während er eine Politik lernt, die Zustände auf Aktionen abbildet, um die erwartete zukünftige Belohnung zu maximieren. Die mathematischen Grundlagen des Feldes reichen zurück auf die dynamische Programmierung und die Theorie der optimalen Steuerung aus der Mitte des 20. Jahrhunderts, aber seine moderne Einordnung als eigenständige Disziplin des maschinellen Lernens ist eng mit Richard Sutton und Andrew Barto verbunden, deren Lehrbuch zur Standardreferenz des Feldes wurde, sowie mit Forschern, die später das Reinforcement-Learning-Programm von DeepMind leiteten, darunter David Silver.
Wegweisende Erfolge
Die öffentlich sichtbarsten Erfolge des Reinforcement Learning kamen aus dem Bereich der Spiele. AlphaGo kombinierte tiefe neuronale Netze mit Reinforcement Learning und Baumsuche, um 2016 den Weltmeister Lee Sedol in Go zu besiegen - ein Ergebnis, das weithin als Jahre früher als Expertenprognosen angesehen wurde. Sein Nachfolger AlphaZero verallgemeinerte den Ansatz, indem er Schach, Shogi und Go allein durch Selbstspiel lernte, ohne menschliche Spieldaten, ausgehend nur von den Regeln. Diese Systeme zeigten, dass ein Agent durch rein belohnungsgetriebenes Versuch-und-Irrtum-Lernen in Kombination mit ausreichend Rechenleistung übermenschliche Leistungen in komplexen Bereichen erreichen kann - eine Idee, die Sutton später als "die bittere Lektion" formulierte: Allgemeine Methoden, die Rechenleistung nutzen, tendieren dazu, Ansätze zu übertreffen, die auf handgefertigtem menschlichem Wissen beruhen, sobald mehr Rechenleistung verfügbar wird.
Techniken
Reinforcement-Learning-Algorithmen fallen in mehrere Familien. Wertbasierte Methoden wie Q-Learning und seine Deep-Learning-Erweiterung Deep-Q-Netzwerke lernen, den langfristigen Wert einer bestimmten Aktion in einem bestimmten Zustand zu schätzen. Policy-Gradient-Methoden lernen direkt eine Politikfunktion, die Aktionen ausgibt, und Actor-Critic-Methoden kombinieren beide Ansätze. Proximal Policy Optimization (PPO), das maßgeblich von John Schulman entwickelt wurde, wurde aufgrund seiner relativ stabilen Trainingsweise zu einem der am weitesten verbreiteten Policy-Gradient-Algorithmen und spielte später eine zentrale Rolle außerhalb von Spielen, nämlich bei der Ausrichtung großer Sprachmodelle.
Von Spielen zu Sprachmodellen
Die Relevanz des Reinforcement Learning erweiterte sich dramatisch mit RLHF (Reinforcement Learning aus menschlichem Feedback), bei dem ein Belohnungsmodell, das auf menschlichen Präferenzurteilen trainiert wurde, eine handcodierte Belohnungsfunktion ersetzt, und ein LLM anschließend mit einem Algorithmus wie PPO feinabgestimmt wird, um Ausgaben zu erzeugen, die gemäß diesem gelernten Belohnungsmodell hoch bewertet werden. Diese Technik war zentral für die Umwandlung eines roh vortrainierten großen Sprachmodells in einen Assistenten wie ChatGPT, der zuverlässig Anweisungen befolgt. In jüngerer Zeit wurde Reinforcement Learning, das direkt auf Aufgaben mit automatisch überprüfbaren Ergebnissen angewendet wird - wie Mathematikprobleme mit überprüfbaren Antworten oder Code, der Tests entweder besteht oder nicht besteht - zur Schlüsseltechnik hinter Denkmodellen wie OpenAI o1 und DeepSeek-R1, die lernen, längere Denkketten zu erzeugen, die ihre Genauigkeit bei schwierigen Problemen verbessern, ein Ansatz, der oft unter dem Oberbegriff Test-time compute beschrieben wird.
Einschränkungen
Reinforcement Learning ist bekanntermaßen sample-ineffizient und erfordert oft weitaus mehr Versuch-und-Irrtum-Interaktionen, als ein Mensch zum Erlernen einer vergleichbaren Fähigkeit benötigen würde, und es ist anfällig für Reward hacking, bei dem ein Agent einen unbeabsichtigten Weg findet, sein Belohnungssignal zu maximieren, der technisch das Ziel erfüllt, aber das zugrunde liegende Ziel verfehlt, das es repräsentieren sollte. Die Gestaltung einer Belohnungsfunktion, die das beabsichtigte Verhalten treu erfasst, ohne Schlupflöcher zu schaffen, die ein optimierender Agent ausnutzen kann, bleibt eine der anhaltenden offenen Herausforderungen des Feldes.