Constitutional AI (CAI) ist eine Methode zum Training großer Sprachmodelle, die darauf abzielt, hilfreich und harmlos zu sein, wobei das Modell seine eigenen Ausgaben anhand eines schriftlichen Satzes von Prinzipien, der sogenannten Verfassung, kritisiert und überarbeitet, anstatt sich für jedes Beispiel unerwünschten Verhaltens primär auf menschliches Feedback zu verlassen. Sie wurde von Anthropic in einem Papier vom Dezember 2022 mit dem Titel „Constitutional AI: Harmlessness from AI Feedback“ eingeführt und wurde zu einer Kernmethode des Trainings hinter der Claude-Modellfamilie.
Methode
Die Technik läuft in zwei Phasen ab. In der überwachten Phase generiert das Modell eine Antwort auf einen Prompt, kritisiert seine eigene Antwort anhand der Prinzipien der Verfassung und schreibt die Antwort neu, um diese besser zu erfüllen; diese Schleife aus Selbstkritik und Überarbeitung erzeugt einen Datensatz, der für das überwachte Feintuning verwendet wird. In der Phase des bestärkenden Lernens vergleicht das Modell Paare seiner eigenen Antworten und beurteilt, welche die Verfassung besser befolgt, wodurch ein Präferenzdatensatz entsteht, der ein Belohnungsmodell trainiert – ein Prozess, den Anthropic als bestärkendes Lernen aus KI-Feedback oder RLAIF bezeichnet. Dieses Belohnungsmodell wird dann verwendet, um das Modell mit bestärkendem Lernen feinzutunen, eine Struktur, die parallel zu RLHF verläuft, aber viele menschlich bereitgestellte Präferenzlabels durch KI-generierte ersetzt.
Motivation
Anthropic-Forscher, darunter Mitbegründer Jared Kaplan, argumentierten, dass reines RLHF zwei Schwächen hat: Es erfordert große Mengen menschlicher Arbeit, um schädliche Ausgaben zu überprüfen – Arbeit, die langsam ist und Beschrifter belastenden Inhalten aussetzen kann – und es kodiert nur implizite, ungeschriebene Ermessensentscheidungen statt eines überprüfbaren schriftlichen Standards. Eine Verfassung hingegen kann unabhängig von den Präferenzen einzelner Beschrifter eingesehen, debattiert und überarbeitet werden, und dasselbe Dokument kann über Trainingsläufe hinweg wiederverwendet werden. Dario Amodei, der Geschäftsführer von Anthropic, hat den Ansatz als Teil einer breiteren Wette dargestellt, dass das sichere Skalieren leistungsfähiger Modelle Methoden erfordert, die nicht von immer größeren Mengen menschlicher Überprüfung abhängen.
Die Verfassung
Die Prinzipien in Anthropics ursprünglicher Verfassung stützten sich auf mehrere Quellen, darunter die Allgemeine Erklärung der Menschenrechte der Vereinten Nationen, Vertrauens- und Sicherheitsnormen anderer Technologieunternehmen sowie Anweisungen, die das Modell nicht ausweichend und aufmerksam gegenüber Perspektiven außerhalb eines engen westlichen Standards halten sollten. Anthropic hat aufeinanderfolgende Überarbeitungen von Claudes Verfassung veröffentlicht und beschreibt sie als ein sich entwickelndes Dokument und nicht als eine feste Spezifikation.
Beziehung zu Alignment und Sicherheit
Constitutional AI ist eine von mehreren Techniken, die Forscher verwenden, um Alignment zwischen dem Verhalten eines Modells und den Absichten seiner Entwickler zu verfolgen, neben einfachem RLHF und Direct Preference Optimization. Befürworter argumentieren, dass es die Skalierbarkeit verbessert, da KI-generiertes Feedback weit schneller erzeugt werden kann als menschliches Feedback, und die Transparenz erhöht, da die Verfassung selbst von Außenstehenden gelesen und kritisiert werden kann. Es wird auch als teilweise Antwort auf Reward Hacking präsentiert, mit der Begründung, dass die Verankerung von Präferenzen in expliziten schriftlichen Prinzipien es einem Modell erschwert, ein Belohnungssignal zu erfüllen, während es den Geist des zugrunde liegenden Ziels verletzt.
Kritik
Kritiker haben mehrere Einwände erhoben. Da das Modell, das zur Kritik und Überarbeitung von Antworten verwendet wird, auf denselben breiten Fähigkeiten beruht wie das trainierte Modell, stellen einige Forscher infrage, ob KI-Feedback Fehler erfassen kann, die ein vergleichbar fähiger menschlicher Aufseher übersehen würde, insbesondere wenn Modelle sich der menschlichen Leistung bei den bewerteten Aufgaben annähern oder diese übertreffen. Andere merken an, dass die Auswahl der aufzunehmenden Prinzipien und die Lösung von Konflikten zwischen ihnen eine Entscheidung eines einzelnen Unternehmens bleibt, sodass die Methode für sich genommen keine Streitigkeiten darüber beilegt, wessen Werte ein KI-System widerspiegeln sollte. Constitutional AI beseitigt auch nicht die Notwendigkeit von Red Teaming und anderen Schutzmechanismen, da ein schriftliches Prinzip dennoch durch adversariale Prompts wie einen Jailbreak umgangen werden kann.
Vermächtnis
Das Selbstkritik-Muster hinter Constitutional AI beeinflusste spätere Forschung zur Verwendung von Modellen zur Überwachung oder Bewertung anderer Modelle, manchmal als LLM-as-Judge-Evaluierung bezeichnet, und es bleibt eines der am häufigsten zitierten Beispiele dafür, dass ein führendes Labor detaillierte Alignment-Methoden veröffentlicht, anstatt sie als Geschäftsgeheimnis zu hüten.