La inyección de prompt es una vulnerabilidad de seguridad en los sistemas de IA en la que instrucciones ocultas dentro de contenido que el modelo procesa, como una página web, un documento, un correo electrónico o un resultado de búsqueda, son interpretadas y seguidas por el modelo como si fueran comandos legítimos, pudiendo anular la intención original del desarrollador o del usuario. El término fue acuñado en 2022 por el investigador Simon Willison para describir ataques análogos a la inyección SQL en el software tradicional: en ambos casos, la entrada no confiable no se separa adecuadamente de las instrucciones confiables, lo que permite a un atacante introducir comandos a través de un canal destinado solo a datos.
La inyección de prompt se convirtió en una preocupación práctica significativamente mayor con el auge de los agentes de IA y el uso de herramientas, ya que un agente que puede navegar por la web, leer correos electrónicos o ejecutar código en nombre del usuario puede encontrarse con contenido controlado por el atacante y actuar sobre instrucciones inyectadas con consecuencias reales, a diferencia de un simple chatbot que solo produce texto.
Inyección directa versus indirecta
Los investigadores de seguridad distinguen entre la inyección directa de prompt, donde un usuario escribe directamente instrucciones adversariales en un prompt y que se superpone significativamente con el jailbreaking, y la inyección indirecta de prompt, donde las instrucciones maliciosas están incrustadas en contenido de terceros que el modelo recupera o recibe para procesar, como una página web resumida por un asistente, un currículum enviado a una herramienta de contratación o un ticket de soporte gestionado por un agente automatizado. La inyección indirecta generalmente se considera el riesgo más grave porque el atacante no necesita acceso directo al sistema de IA en absoluto, solo la capacidad de colocar contenido en algún lugar que el sistema leerá más tarde.
Ejemplos de ataques
Los ataques documentados y demostrados incluyen texto oculto en una página web, invisible para un observador humano pero legible por el modelo, que instruye a un asistente de navegación de IA a filtrar datos privados o realizar una acción no intencionada; un documento envenenado en un pipeline de generación aumentada por recuperación que hace que el modelo produzca información falsa cuando se recupera ese documento; e instrucciones maliciosas incrustadas en comentarios de código encontrados por un asistente de codificación. Los investigadores han demostrado ataques de prueba de concepto contra productos comerciales de navegación y agentes de IA, lo que ha llevado a los laboratorios a tratar el problema como una prioridad.
Mitigaciones
Debido a que la inyección de prompt explota el hecho de que los modelos de lenguaje procesan instrucciones y datos a través del mismo canal de texto en lenguaje natural, no tiene una solución técnica completa análoga a las consultas parametrizadas en SQL. Las mitigaciones propuestas y parciales incluyen salvaguardas más estrictas y filtrado de salida, separación de privilegios que limita qué acciones puede realizar un agente sin confirmación explícita del usuario, entrenamiento de modelos para distinguir mejor las instrucciones del sistema confiables del contenido recuperado no confiable, y sandboxing del acceso a herramientas. A partir de 2025, la inyección de prompt seguía siendo un problema sin resolver, investigado activamente y un tema estándar en los ejercicios de red teaming de IA, particularmente para productos construidos sobre el Protocolo de Contexto de Modelo y estándares similares que conectan modelos con herramientas y datos externos.