AIの文脈におけるジェイルブレイクとは、モデルの安全性トレーニングやガードレールを迂回し、暴力の指示、ヘイトスピーチ、その他の禁止された素材など、訓練や指示で拒否するよう設定されたコンテンツを生成させるように設計されたプロンプトまたは手法である。この用語は、スマートフォンやゲーム機のメーカー制限を解除する慣行から借用されたもので、AIシステムに適用される場合も、従来のソフトウェアバグを悪用するのではなく、組み込まれた制限を回避する点で同様である。
ジェイルブレイクは、ChatGPTが2022年11月に公開された直後から目に見える公的な活動として出現し、オンラインコミュニティがプロンプトを共有・改良し、ユーザーが弱点を探り、研究所が既知の手法に対してモデルやシステムを修正するという、攻撃と防御の終わりのない軍拡競争として続いている。
一般的な手法
文書化されたジェイルブレイク手法には、ロールプレイの枠組み（ユーザーがモデルに通常の制限がないと主張するペルソナを採用するよう求めるもの。広く流布したDANプロンプト（Do Anything Nowの略）など）、仮説的またはフィクションの枠組み（物語や思考実験の一部として禁止コンテンツを説明するようモデルに求めるもの）、文脈を徐々に変える多段階プロンプト、暗号や外国語、変則的な書式を使用してリクエストを難読化しキーワードベースのフィルターを回避するエンコーディングのトリックが含まれる。研究者はまた、最適化アルゴリズムや別のAIモデルを使用して、対象モデルの防御を確実に迂回するプロンプト接尾辞を検索する自動ジェイルブレイク生成も実証している。
プロンプトインジェクションおよびレッドチーミングとの関係
ジェイルブレイクはプロンプトインジェクションと密接に関連しているが、区別される。ジェイルブレイクは通常、ユーザー自身が直接対話しているモデルを操作しようとする試みであるのに対し、プロンプトインジェクションは、AIエージェントがユーザーに代わって処理する第三者コンテンツに隠された悪意のある指示を含む。両者は、レッドチーミングというより広い実践の下で研究されており、研究所や独立した研究者が展開前後にモデルを意図的に調査してこれらの障害モードを探る。
防御と見通し
AI研究所は、既知のジェイルブレイクに対して、拒否をより堅牢にすることを目的とした追加のRLHFおよび憲法AIスタイルのトレーニング、生成前後に試行を捕捉する外部ガードレールと分類器、公開されている新手法の継続的な監視を組み合わせて対応している。それにもかかわらず、セキュリティ研究者は一般に、展開された大規模言語モデルがジェイルブレイクに対して完全に耐性を持つことを証明したものはなく、能力の向上が敵対的プロンプトに対する堅牢性を自動的に付与するわけではないことを研究が示している。AIシステムがツール使用や自律的行動を通じて現実世界の能力を獲得するにつれて、ジェイルブレイク成功の実際的な利害は、禁止テキストの生成から潜在的に有害な現実世界の行動を引き起こすことまで、それに応じて高まっている。