Un jailbreak, en el contexto de la IA, es un prompt o técnica diseñada para eludir el entrenamiento de seguridad de un modelo o sus salvaguardas e inducirlo a producir contenido que fue entrenado o instruido para rechazar, como instrucciones para violencia, discurso de odio u otro material no permitido. El término se toma prestado de la práctica de eliminar las restricciones del fabricante en teléfonos inteligentes y consolas, aplicado a sistemas de IA porque implica de manera similar sortear restricciones integradas en lugar de explotar un error de software convencional.
El jailbreak surgió como una actividad pública visible casi inmediatamente después del lanzamiento de ChatGPT en noviembre de 2022, con comunidades en línea compartiendo e iterando sobre prompts, y ha continuado como una carrera armamentista continua de ataque-defensa entre usuarios que exploran debilidades y laboratorios que parchan sus modelos y sistemas contra técnicas conocidas.
Técnicas comunes
Las técnicas de jailbreak documentadas incluyen el encuadre de juego de roles, donde un usuario pide al modelo que adopte una persona que se afirma que está libre de las restricciones habituales, como el prompt DAN ampliamente difundido, abreviatura de Do Anything Now; el encuadre hipotético o ficticio, pidiendo al modelo que describa contenido no permitido como parte de una historia o experimento mental; prompts de múltiples pasos que cambian gradualmente el contexto; y trucos de codificación que ocultan una solicitud mediante cifrados, idiomas extranjeros o formatos inusuales para evadir filtros basados en palabras clave. Los investigadores también han demostrado la generación automatizada de jailbreaks, utilizando algoritmos de optimización u otro modelo de IA para buscar sufijos de prompt que eludan de manera confiable las defensas de un modelo objetivo.
Relación con la inyección de prompts y el red teaming
El jailbreak está estrechamente relacionado pero es distinto de la inyección de prompts: un jailbreak es típicamente un intento del propio usuario de manipular el modelo con el que está hablando directamente, mientras que la inyección de prompts implica instrucciones maliciosas ocultas en contenido de terceros que un agente de IA procesa en nombre del usuario. Ambos se estudian bajo la práctica más amplia del red teaming, en la que laboratorios e investigadores independientes sondean deliberadamente los modelos para detectar estos modos de fallo antes y después del despliegue.
Defensas y perspectivas
Los laboratorios de IA responden a jailbreaks conocidos mediante una combinación de entrenamiento adicional de RLHF y estilo IA Constitucional destinado a hacer que los rechazos sean más robustos, salvaguardas y clasificadores externos que detectan intentos antes o después de la generación, y monitoreo continuo de nuevas técnicas que circulan públicamente. A pesar de esto, los investigadores de seguridad generalmente han encontrado que ningún modelo de lenguaje grande desplegado ha demostrado ser completamente resistente al jailbreak, y los estudios han mostrado que las mejoras en capacidades no confieren automáticamente robustez frente a prompts adversariales. A medida que los sistemas de IA ganan más capacidad en el mundo real mediante el uso de herramientas y la acción autónoma, las apuestas prácticas de un jailbreak exitoso han aumentado en consecuencia, desde generar texto no permitido hasta potencialmente desencadenar acciones dañinas en el mundo real.