Un jailbreak, dans le contexte de l'IA, est une invite ou une technique conçue pour contourner l'entraînement à la sécurité d'un modèle ou ses garde-fous et l'amener à produire un contenu qu'il a été entraîné ou instruit de refuser, comme des instructions pour la violence, un discours haineux ou tout autre matériel interdit. Le terme est emprunté à la pratique consistant à supprimer les restrictions du fabricant sur les smartphones et les consoles, appliqué aux systèmes d'IA car il implique de la même manière de contourner des restrictions intégrées plutôt que d'exploiter un bug logiciel conventionnel.
Le jailbreaking est apparu comme une activité publique visible presque immédiatement après le lancement de ChatGPT en novembre 2022, avec des communautés en ligne partageant et itérant sur des invites, et s'est poursuivi comme une course aux armements continue entre attaque et défense, où les utilisateurs sondent les faiblesses et les laboratoires corrigent leurs modèles et systèmes contre les techniques connues.
Techniques courantes
Les techniques de jailbreak documentées incluent le cadrage par jeu de rôle, où un utilisateur demande au modèle d'adopter une personnalité prétendument exempte des restrictions habituelles, comme l'invite DAN largement diffusée, abréviation de Do Anything Now ; le cadrage hypothétique ou fictif, demandant au modèle de décrire un contenu interdit dans le cadre d'une histoire ou d'une expérience de pensée ; les invites en plusieurs étapes qui déplacent progressivement le contexte ; et les astuces d'encodage qui obscurcissent une demande à l'aide de chiffres, de langues étrangères ou d'un formatage inhabituel pour contourner les filtres basés sur des mots-clés. Les chercheurs ont également démontré la génération automatisée de jailbreaks, utilisant des algorithmes d'optimisation ou un autre modèle d'IA pour rechercher des suffixes d'invite qui contournent de manière fiable les défenses d'un modèle cible.
Relation avec l'injection d'invite et le red teaming
Le jailbreaking est étroitement lié mais distinct de l'injection d'invite : un jailbreak est généralement une tentative de l'utilisateur lui-même de manipuler le modèle auquel il parle directement, tandis que l'injection d'invite implique des instructions malveillantes cachées dans un contenu tiers qu'un agent IA traite au nom de l'utilisateur. Les deux sont étudiés dans le cadre de la pratique plus large du red teaming, où les laboratoires et les chercheurs indépendants sondent délibérément les modèles pour ces modes de défaillance avant et après le déploiement.
Défenses et perspectives
Les laboratoires d'IA répondent aux jailbreaks connus par une combinaison d'entraînement supplémentaire de type RLHF et IA constitutionnelle visant à rendre les refus plus robustes, de garde-fous externes et de classificateurs qui détectent les tentatives avant ou après la génération, et de surveillance continue des nouvelles techniques circulant publiquement. Malgré cela, les chercheurs en sécurité ont généralement constaté qu'aucun grand modèle de langage déployé ne s'est avéré totalement résistant au jailbreaking, et des études ont montré que les améliorations de capacités ne confèrent pas automatiquement une robustesse aux invites adversariales. Alors que les systèmes d'IA gagnent en capacités réelles grâce à l'utilisation d'outils et à l'action autonome, les enjeux pratiques d'un jailbreak réussi ont augmenté en conséquence, passant de la génération de texte interdit à la possibilité de déclencher des actions réelles nuisibles.