Ein Jailbreak, im Kontext von KI, ist ein Prompt oder eine Technik, die dazu entwickelt wurde, das Sicherheitstraining eines Modells oder dessen Schutzmechanismen zu umgehen und es dazu zu bringen, Inhalte zu erzeugen, die es zu verweigern trainiert oder angewiesen wurde, wie etwa Anleitungen zu Gewalt, Hassrede oder anderes unzulässiges Material. Der Begriff ist der Praxis entlehnt, Herstellerbeschränkungen bei Smartphones und Konsolen zu entfernen, und wird auf KI-Systeme angewendet, da er ähnlich das Umgehen eingebauter Beschränkungen betrifft, statt einen herkömmlichen Softwarefehler auszunutzen.
Jailbreaking trat fast unmittelbar nach dem Start von ChatGPT im November 2022 als sichtbare öffentliche Aktivität auf, wobei Online-Communities Prompts teilten und weiterentwickelten, und hat sich seitdem als anhaltendes Angriffs-Verteidigungs-Wettrüsten zwischen Nutzern, die nach Schwachstellen suchen, und Laboren, die ihre Modelle und Systeme gegen bekannte Techniken patchen, fortgesetzt.
Häufige Techniken
Dokumentierte Jailbreak-Techniken umfassen Rollenspiel-Rahmen, bei denen der Nutzer das Modell bittet, eine Persona anzunehmen, die angeblich frei von den üblichen Beschränkungen ist, wie etwa der weit verbreitete DAN-Prompt, kurz für Do Anything Now; hypothetische oder fiktive Rahmen, die das Modell bitten, unzulässige Inhalte als Teil einer Geschichte oder eines Gedankenexperiments zu beschreiben; mehrstufige Prompts, die den Kontext schrittweise verschieben; und Kodierungstricks, die eine Anfrage durch Chiffren, Fremdsprachen oder ungewöhnliche Formatierung verschleiern, um schlüsselwortbasierte Filter zu umgehen. Forscher haben auch automatisierte Jailbreak-Erzeugung demonstriert, bei der Optimierungsalgorithmen oder ein anderes KI-Modell verwendet werden, um Prompt-Suffixe zu suchen, die zuverlässig die Verteidigung eines Zielmodells umgehen.
Beziehung zu Prompt-Injection und Red Teaming
Jailbreaking ist eng verwandt mit, aber unterschieden von Prompt-Injection: Ein Jailbreak ist typischerweise ein Versuch des Nutzers selbst, das Modell zu manipulieren, mit dem er direkt spricht, während Prompt-Injection bösartige Anweisungen in Drittinhalten betrifft, die ein KI-Agent im Auftrag eines Nutzers verarbeitet. Beide werden im Rahmen der breiteren Praxis des Red Teamings untersucht, bei der Labore und unabhängige Forscher Modelle vor und nach der Bereitstellung absichtlich auf diese Fehlermodi testen.
Verteidigungsmaßnahmen und Ausblick
KI-Labore reagieren auf bekannte Jailbreaks durch eine Kombination aus zusätzlichem RLHF- und Constitutional-AI-basiertem Training, das darauf abzielt, Verweigerungen robuster zu machen, externen Schutzmechanismen und Klassifikatoren, die Versuche vor oder nach der Generierung abfangen, sowie kontinuierlicher Überwachung neuer Techniken, die öffentlich kursieren. Trotzdem haben Sicherheitsforscher allgemein festgestellt, dass kein bereitgestelltes großes Sprachmodell sich als vollständig resistent gegen Jailbreaking erwiesen hat, und Studien haben gezeigt, dass Fähigkeitsverbesserungen nicht automatisch Robustheit gegenüber adversarischen Prompts verleihen. Da KI-Systeme durch Werkzeugnutzung und autonomes Handeln mehr reale Fähigkeiten erlangen, sind die praktischen Auswirkungen eines erfolgreichen Jailbreaks entsprechend gestiegen - von der Erzeugung unzulässigen Textes bis hin zur möglichen Auslösung schädlicher realer Aktionen.