Direkte Präferenzoptimierung
Die Direkte Präferenzoptimierung (englisch Direct Preference Optimization, kurz DPO) ist eine Methode zum Training eines Sprachmodells, bestimmte Ausgaben gegenüber anderen basierend auf menschlichen Präferenzdaten zu bevorzugen. Sie wurde als einfachere Alternative zu Reinforcement Learning from Human Feedback (RLHF) eingeführt. Anstatt ein separates Belohnungsmodell zu trainieren und anschließend einen Reinforcement-Learning-Algorithmus zur Optimierung des Sprachmodells gegen dieses Belohnungsmodell auszuführen, formuliert DPO dasselbe Präferenzoptimierungsproblem mathematisch um, sodass das Sprachmodell direkt mit einem einzigen, einfachen überwachten Verlust trainiert werden kann, der direkt aus Paaren von bevorzugten und abgelehnten Antworten berechnet wird. Dadurch werden sowohl das separate Belohnungsmodell als auch die Notwendigkeit eines Reinforcement-Learning-Schleife überflüssig.
Ursprung
DPO wurde in einem 2023 veröffentlichten Paper von Forschern der Stanford University eingeführt. Sie zeigten, dass das typischerweise in RLHF verwendete Belohnungsmodell-Optimierungsziel eine geschlossene Lösung besitzt, die direkt durch die eigenen Ausgabewahrscheinlichkeiten des Sprachmodells ausgedrückt werden kann. Dieses theoretische Ergebnis ermöglichte es, das Modell direkt auf das gleiche Optimum zu trainieren, das RLHF anstrebt, indem einfach die Wahrscheinlichkeit der bevorzugten Antworten relativ zu den abgelehnten Antworten erhöht wird. Die dabei verwendete Verlustfunktion wird aus demselben zugrundeliegenden Präferenzmodell abgeleitet, dem Bradley-Terry-Modell für paarweise Vergleiche, das auch dem Belohnungsmodelltraining in RLHF zugrunde liegt.
Funktionsweise
Das DPO-Training verwendet dieselbe Art von Daten wie die Belohnungsmodellierungsphase in RLHF: einen Datensatz von Aufforderungen (Prompts), jeweils gepaart mit einer „bevorzugten“ Antwort, die menschliche Annotatoren ausgewählt haben, und einer „abgelehnten“ Antwort, die sie nicht gewählt haben. Anstatt diese Daten zu verwenden, um ein separates Belohnungsmodell zu trainieren, trainiert DPO das Sprachmodell direkt. Die Verlustfunktion erhöht die relative Wahrscheinlichkeit der bevorzugten Antwort im Vergleich zur abgelehnten Antwort, wobei die Änderung jedoch gegen ein Referenzmodell reguliert wird. Dieses Referenzmodell ist typischerweise der Zustand des Sprachmodells vor dem DPO-Training (oft nach dem überwachten Feintuning). Diese Regularisierung wirkt als impliziter Begrenzer, der verhindert, dass sich das Modell zu weit von seinem ursprünglichen, stabilen Verhalten entfernt. Da DPO die separate Belohnungsmodellierung und die Reinforcement-Learning-Schleife (einschließlich des Samplings von Antworten während des Trainings) überflüssig macht, ist es erheblich einfacher zu implementieren, stabiler im Training und rechnerisch weniger aufwendig als eine vollständige RLHF-Pipeline.
Verhältnis zu RLHF
DPO und RLHF verfolgen dasselbe zugrundeliegende Ziel: die Ausgaben eines Sprachmodells an menschlichen Präferenzurteilen auszurichten, typischerweise als eine Phase nach dem überwachten Feintuning eines vortrainierten Basismodells. RLHF erreicht dies indirekt über ein explizites Belohnungsmodell und eine Reinforcement-Learning-Optimierungsschleife, die meistens den Proximal Policy Optimization (PPO)-Algorithmus verwendet. DPO hingegen fasst diese beiden Phasen in einem einzigen überwachten Optimierungsschritt zusammen. Dies vermeidet die Instabilitäten, die Hyperparameter-Empfindlichkeit und die Infrastrukturkomplexität, die mit Reinforcement Learning verbunden sind. Der Preis dafür ist eine etwas geringere Flexibilität: Da DPO auf dem vorgegebenen Präferenzdatensatz basiert, kann es nicht wie RLHF mit einem Belohnungsmodell interagieren, das prinzipiell auch für Antworten außerhalb des ursprünglichen Trainingsdatensatzes Abfragen beantworten könnte.
Verbreitung und Auswirkungen
Nach seiner Einführung wurde DPO schnell sowohl in der Industrie als auch in der akademischen Forschung übernommen, vor allem wegen der erheblichen technischen Vereinfachung gegenüber RLHF. Viele Teams, die nicht über die Infrastruktur für eine stabile Reinforcement-Learning-Trainingsschleife verfügten, konnten nun Präferenzoptimierung mit Standardwerkzeugen des überwachten Lernens durchführen. DPO wurde zu einer gängigen Technik beim Training von offenen Modellen, die von Organisationen wie Hugging Face und Mistral AI veröffentlicht wurden. Varianten der Präferenzoptimierung, die auf DPO aufbauen, finden sich in den veröffentlichten Trainingsrezepten zahlreicher Modelle, die ab 2023 erschienen sind. Einige abgeleitete Methoden haben Verfeinerungen vorgeschlagen, beispielsweise das Entfernen des Referenzmodell-Terms oder die Erweiterung der Präferenzoptimierung auf mehr als zwei Antwortkandidaten pro Vergleich.
Einschränkungen
Da DPO direkt aus einem festen, im Voraus gesammelten Präferenzdatensatz lernt und kein explizites Belohnungsmodell besitzt, das beliebige neue Ausgaben bewerten kann, gilt es als weniger flexibel bei der Generalisierung auf Präferenzurteile über Textverteilungen, die sich erheblich von den Trainingsdaten unterscheiden. Darüber hinaus erbt DPO die grundlegende Abhängigkeit von der Qualität und Konsistenz der zugrundeliegenden menschlichen Präferenzkennzeichnungen, die auch RLHF betrifft: Annotatorverzerrungen, Inkonsistenzen oder ein zu eng gefasstes Spektrum an Präferenzkriterien prägen das Verhalten des resultierenden Modells direkt. Wie bei RLHF garantiert DPO auch nicht von sich aus, dass ein Modell wahrheitsgemäß oder sicher ist; es optimiert lediglich auf das, was in den Präferenzdaten belohnt wird. Die Frage, wie man solche Methoden robust auf Sicherheit und Wahrhaftigkeit ausrichtet, bleibt ein aktives Forschungsfeld im Bereich der Ausrichtung von KI-Systemen.