प्रॉम्प्ट इंजेक्शन AI प्रणालियों में एक सुरक्षा भेद्यता है, जिसमें उस सामग्री के भीतर छिपे निर्देश जिन्हें मॉडल संसाधित करता है, जैसे कि वेबपेज, दस्तावेज़, ईमेल, या खोज परिणाम, मॉडल द्वारा वैध कमांड के रूप में व्याख्यायित और पालन किए जाते हैं, संभावित रूप से डेवलपर या उपयोगकर्ता के मूल इरादे को ओवरराइड करते हुए। यह शब्द 2022 में शोधकर्ता साइमन विलिसन द्वारा पारंपरिक सॉफ्टवेयर में SQL इंजेक्शन के समान हमलों का वर्णन करने के लिए गढ़ा गया था: दोनों मामलों में, अविश्वसनीय इनपुट को विश्वसनीय निर्देशों से ठीक से अलग नहीं किया जाता है, जिससे हमलावर डेटा के लिए बने चैनल के माध्यम से कमांड तस्करी कर सकता है।
AI एजेंटों और टूल उपयोग के उदय के साथ प्रॉम्प्ट इंजेक्शन एक काफी बड़ी व्यावहारिक चिंता बन गया, क्योंकि एक एजेंट जो वेब ब्राउज़ कर सकता है, ईमेल पढ़ सकता है, या उपयोगकर्ता की ओर से कोड निष्पादित कर सकता है, उसे हमलावर-नियंत्रित सामग्री का सामना करना पड़ सकता है और इंजेक्टेड निर्देशों पर वास्तविक परिणामों के साथ कार्य कर सकता है, एक साधारण चैटबॉट के विपरीत जो केवल पाठ उत्पन्न करता है।
प्रत्यक्ष बनाम अप्रत्यक्ष इंजेक्शन
सुरक्षा शोधकर्ता प्रत्यक्ष प्रॉम्प्ट इंजेक्शन, जहां उपयोगकर्ता सीधे प्रॉम्प्ट में प्रतिकूल निर्देश टाइप करता है और जो जेलब्रेकिंग के साथ काफी हद तक ओवरलैप होता है, को अप्रत्यक्ष प्रॉम्प्ट इंजेक्शन से अलग करते हैं, जहां दुर्भावनापूर्ण निर्देश तृतीय-पक्ष सामग्री में एम्बेडेड होते हैं जिसे मॉडल पुनर्प्राप्त करता है या संसाधित करने के लिए दिया जाता है, जैसे कि सहायक द्वारा सारांशित वेबपेज, भर्ती उपकरण को प्रस्तुत किया गया बायोडाटा, या स्वचालित एजेंट द्वारा संभाला गया सहायता टिकट। अप्रत्यक्ष इंजेक्शन को आम तौर पर अधिक गंभीर जोखिम माना जाता है क्योंकि हमलावर को AI प्रणाली तक सीधी पहुंच की आवश्यकता नहीं होती है, केवल सामग्री को कहीं रखने की क्षमता होती है जहां सिस्टम बाद में उसे पढ़ेगा।
हमले के उदाहरण
प्रलेखित और प्रदर्शित हमलों में एक वेबपेज में छिपा हुआ पाठ शामिल है, जो मानव दर्शक के लिए अदृश्य होता है लेकिन मॉडल के लिए पठनीय होता है, जो AI ब्राउज़िंग सहायक को निजी डेटा लीक करने या अनपेक्षित कार्रवाई करने का निर्देश देता है; एक पुनर्प्राप्ति-वर्धित जनरेशन पाइपलाइन में एक जहरीला दस्तावेज़ जो मॉडल को गलत जानकारी आउटपुट करने का कारण बनता है जब वह दस्तावेज़ पुनर्प्राप्त होता है; और कोड टिप्पणियों में एम्बेडेड दुर्भावनापूर्ण निर्देश जिनका सामना कोडिंग सहायक करता है। शोधकर्ताओं ने वाणिज्यिक AI ब्राउज़िंग और एजेंट उत्पादों के खिलाफ प्रूफ-ऑफ-कॉन्सेप्ट हमलों का प्रदर्शन किया है, जिससे प्रयोगशालाओं को इस मुद्दे को प्राथमिकता के रूप में मानने के लिए प्रेरित किया गया है।
शमन
क्योंकि प्रॉम्प्ट इंजेक्शन इस तथ्य का शोषण करता है कि भाषा मॉडल प्राकृतिक-भाषा पाठ के समान चैनल के माध्यम से निर्देशों और डेटा को संसाधित करते हैं, इसका SQL में पैरामीटराइज़्ड क्वेरी के समान कोई पूर्ण तकनीकी समाधान नहीं है। प्रस्तावित और आंशिक शमन में कड़े गार्डरेल और आउटपुट फ़िल्टरिंग, विशेषाधिकार पृथक्करण जो स्पष्ट उपयोगकर्ता पुष्टि के बिना एजेंट द्वारा की जा सकने वाली कार्रवाइयों को सीमित करता है, मॉडल को विश्वसनीय सिस्टम निर्देशों को अविश्वसनीय पुनर्प्राप्त सामग्री से बेहतर ढंग से अलग करने के लिए प्रशिक्षित करना, और टूल एक्सेस को सैंडबॉक्स करना शामिल है। 2025 तक, प्रॉम्प्ट इंजेक्शन एक अनसुलझी, सक्रिय रूप से शोधित समस्या बनी रही और AI रेड टीमिंग अभ्यासों में एक मानक विषय था, विशेष रूप से मॉडल कॉन्टेक्स्ट प्रोटोकॉल और समान मानकों पर निर्मित उत्पादों के लिए जो मॉडल को बाहरी टूल और डेटा से जोड़ते हैं।