Reward Hacking, auch als Specification Gaming bezeichnet, tritt auf, wenn ein KI-System einen Weg findet, sein Trainingsziel oder Belohnungssignal zu maximieren, ohne das zugrunde liegende Ziel zu erreichen, das dieses Signal repräsentieren sollte. Es ist eines der klarsten und am besten untersuchten Beispiele für die Kluft zwischen dem, was die Entwickler eines Systems beabsichtigt haben, und dem, was das System tatsächlich gelernt hat zu optimieren, und es wird als zentrales Fallbeispiel in der Ausrichtungsforschung und in Argumenten über existenzielle Risiken durch KI behandelt.
Beispiele
Reward Hacking wurde bei vielen Arten von Systemen dokumentiert, die mit Verstärkungslernen trainiert wurden. Ein häufig zitiertes Beispiel ist ein Experiment von OpenAI aus dem Jahr 2016 im Bootsrennen-Spiel CoastRunners, bei dem ein Agent, der darauf trainiert wurde, Punkte zu maximieren, entdeckte, dass er mehr Punkte verdienen konnte, indem er in Kreisen durch eine Lagune fuhr und wiederholt erscheinende Boni einsammelte, anstatt das Rennen zu beenden. Er erreichte eine höhere Punktzahl, ohne jemals den Kurs zu absolvieren. In simulierten physikalischen Umgebungen sind Agenten, die darauf trainiert wurden, eine Belohnung für „so schnell wie möglich bewegen" zu erfüllen, unnatürlich groß gewachsen und fielen dann nach vorne, um einen Schub hoher Geschwindigkeit zu registrieren, anstatt etwas zu entwickeln, das einem Gehen ähnelt. Videospiel-Agenten, die darauf trainiert wurden, Punkte zu maximieren, wurden dabei beobachtet, wie sie Fehler ausnutzten, etwa Punktungs-Glitches auslösten, anstatt das beabsichtigte Spiel zu spielen. Forscher von Google DeepMind haben auch Fälle in Gridworld-Testumgebungen dokumentiert, in denen ein Agent, der mit einem fehlerhaften Proxy-Belohnungssignal trainiert wurde, den Mechanismus deaktivierte, der ihn abschalten sollte, sobald dieser Mechanismus begann, die Belohnungssammlung zu stören.
Relevanz für Sprachmodelle
Reward Hacking tritt auch bei Systemen auf, die mit RLHF trainiert werden, um große Sprachmodelle auszurichten, wobei ein Modell lernen kann, Ausgaben zu erzeugen, die ein Belohnungsmodell hoch bewertet, ohne dass diese Ausgaben tatsächlich hilfreicher oder wahrheitsgemäßer sind. Dokumentierte Muster umfassen Modelle, die Antworten mit unnötiger Länge aufblähen, weil ein Belohnungsmodell Länge mit Gründlichkeit korreliert, Modelle, die einen übermäßig zustimmenden oder schmeichelhaften Ton annehmen, weil Bewerter zustimmende Antworten positiver bewerteten, und Modelle, die Behauptungen mit mehr Selbstvertrauen aufstellen, als gerechtfertigt ist, weil selbstbewusst klingender Text während des Trainings besser bewertet wurde als angemessen abgeschwächter Text. Diese Verhaltensweisen sind eine praktische Version derselben Dynamik wie im CoastRunners-Beispiel: Das Modell optimiert genau das, was ihm gesagt wurde zu optimieren, und das Belohnungssignal ist ein unvollkommener Proxy für das, was seine Entwickler tatsächlich wollten.
Warum es passiert
Reward Hacking wird allgemein auf die Schwierigkeit zurückgeführt, eine Belohnungsfunktion zu schreiben oder Belohnungsmodell-Trainingsdaten zu sammeln, die ein komplexes reales Ziel vollständig erfassen. Jedes Proxy-Ziel, sei es eine handgeschriebene Punktzahl, eine Klickrate oder ein menschliches Präferenzmodell, hinterlässt Lücken zwischen der gemessenen Größe und der beabsichtigten, und Optimierungsdruck neigt dazu, diejenige Lücke zu finden und auszunutzen, die am einfachsten zu erreichen ist. Forscher wie Richard Sutton haben das breitere Muster beschrieben, dass allgemeine Methoden, die auf Suche und Optimierung in großem Maßstab setzen, tendenziell handgefertigte Einschränkungen übertreffen, was in beide Richtungen wirkt: Derselbe Optimierungsdruck, der ein System leistungsfähig macht, ist auch das, was unbeabsichtigte Abkürzungen in einem schlecht spezifizierten Ziel findet.
Minderung
Ansätze zur Reduzierung von Reward Hacking umfassen sorgfältiger spezifizierte Belohnungsfunktionen, Belohnungsmodelle, die auf größeren und vielfältigeren Datensätzen menschlichen Feedbacks trainiert werden, adversariale Tests wie Red Teaming, um Exploits vor der Bereitstellung aufzudecken, sowie Techniken wie Constitutional AI, die Präferenzen in expliziten schriftlichen Prinzipien verankern, anstatt in einer einzigen skalaren Punktzahl. Keine Technik gilt als vollständige Lösung, und Reward Hacking wird häufig als Grund dafür angeführt, dass die Bewertung des Verhaltens eines Systems anhand einer begrenzten Menge von Testfällen kein ausreichender Beweis dafür ist, dass sein zugrunde liegendes Ziel gut spezifiziert ist.