Prompt Injection ist eine Sicherheitslücke in KI-Systemen, bei der Anweisungen, die in Inhalten versteckt sind, die ein Modell verarbeitet – wie etwa eine Webseite, ein Dokument, eine E-Mail oder ein Suchergebnis – vom Modell interpretiert und befolgt werden, als wären sie legitime Befehle, wodurch möglicherweise die ursprüngliche Absicht des Entwicklers oder Benutzers überschrieben wird. Der Begriff wurde 2022 vom Forscher Simon Willison geprägt, um Angriffe zu beschreiben, die SQL-Injection in traditioneller Software ähneln: In beiden Fällen wird nicht vertrauenswürdige Eingabe nicht ordnungsgemäß von vertrauenswürdigen Anweisungen getrennt, sodass ein Angreifer Befehle über einen Kanal schmuggeln kann, der nur für Daten gedacht ist.
Prompt Injection wurde mit dem Aufkommen von KI-Agenten und Werkzeugnutzung zu einem deutlich größeren praktischen Problem, da ein Agent, der im Namen eines Benutzers im Web surfen, E-Mails lesen oder Code ausführen kann, auf vom Angreifer kontrollierte Inhalte stoßen und mit realen Konsequenzen auf injizierte Anweisungen reagieren kann – anders als ein einfacher Chatbot, der nur Text erzeugt.
Direkte versus indirekte Injection
Sicherheitsforscher unterscheiden direkte Prompt-Injection, bei der ein Benutzer direkt widersprüchliche Anweisungen in einen Prompt eingibt und die sich stark mit Jailbreaking überschneidet, von indirekter Prompt-Injection, bei der die bösartigen Anweisungen in Drittinhalten eingebettet sind, die das Modell abruft oder zur Verarbeitung erhält, wie etwa eine Webseite, die von einem Assistenten zusammengefasst wird, ein Lebenslauf, der einem Einstellungstool vorgelegt wird, oder ein Support-Ticket, das von einem automatisierten Agenten bearbeitet wird. Indirekte Injection gilt allgemein als das schwerwiegendere Risiko, da der Angreifer keinen direkten Zugriff auf das KI-System benötigt, sondern nur die Fähigkeit, Inhalte an einem Ort zu platzieren, den das System später liest.
Angriffsbeispiele
Dokumentierte und demonstrierte Angriffe umfassen versteckten Text auf einer Webseite, der für einen menschlichen Betrachter unsichtbar, aber für das Modell lesbar ist und einen KI-Browsing-Assistenten anweist, private Daten preiszugeben oder eine unbeabsichtigte Aktion auszuführen; ein vergiftetes Dokument in einer Retrieval-Augmented-Generation-Pipeline, das das Modell dazu veranlasst, falsche Informationen auszugeben, wenn dieses Dokument abgerufen wird; und bösartige Anweisungen, die in Code-Kommentaren eingebettet sind, auf die ein Codierungsassistent stößt. Forscher haben Proof-of-Concept-Angriffe gegen kommerzielle KI-Browsing- und Agentenprodukte demonstriert, was Labore dazu veranlasst hat, das Problem als Priorität zu behandeln.
Gegenmaßnahmen
Da Prompt Injection ausnutzt, dass Sprachmodelle Anweisungen und Daten über denselben Kanal natürlicher Sprachtexte verarbeiten, gibt es keine vollständige technische Lösung, die parametrisierten Abfragen in SQL analog wäre. Vorgeschlagene und teilweise umgesetzte Gegenmaßnahmen umfassen strengere Leitplanken und Ausgabefilterung, Privilegientrennung, die einschränkt, welche Aktionen ein Agent ohne explizite Benutzerbestätigung ausführen kann, das Training von Modellen, vertrauenswürdige Systemanweisungen besser von nicht vertrauenswürdigen abgerufenen Inhalten zu unterscheiden, sowie die Sandboxing von Werkzeugzugriffen. Stand 2025 blieb Prompt Injection ein ungelöstes, aktiv erforschtes Problem und ein Standardthema in KI-Red-Teaming-Übungen, insbesondere für Produkte, die auf dem Model Context Protocol und ähnlichen Standards basieren, die Modelle mit externen Werkzeugen und Daten verbinden.