हैलुसिनेशन, कृत्रिम बुद्धिमत्ता के संदर्भ में, एक जनरेटिव मॉडल, विशेष रूप से बड़े भाषा मॉडल की प्रवृत्ति को संदर्भित करता है, जो ऐसे कथन उत्पन्न करता है जो आत्मविश्वासपूर्ण और धाराप्रवाह होते हैं लेकिन तथ्यात्मक रूप से गलत, काल्पनिक, या उसके प्रशिक्षण डेटा या उसे दिए गए किसी स्रोत द्वारा समर्थित नहीं होते हैं। यह शब्द मानव मनोविज्ञान से ढीले ढंग से उधार लिया गया है और शोधकर्ताओं के बीच कुछ बहस का विषय है, क्योंकि यह एक अवधारणात्मक त्रुटि का संकेत देता है, न कि उस अधिक यांत्रिक प्रक्रिया का जिसके द्वारा एक भाषा मॉडल पाठ उत्पन्न करता है।
कारण
भाषा मॉडल को पाठ के प्रशंसनीय निरंतरता की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है, तथ्यों को सत्यापित करने के लिए नहीं, इसलिए एक मॉडल के पास एक अच्छी तरह से समर्थित दावे को धाराप्रवाह लेकिन आविष्कृत दावे से अलग करने के लिए कोई अंतर्निहित तंत्र नहीं होता है। हैलुसिनेशन की संभावना अधिक होती है जब एक प्रॉम्प्ट उस जानकारी के बारे में पूछता है जो प्रशिक्षण डेटा में शायद ही कभी या असंगत रूप से दिखाई दी हो, जब कोई प्रश्न किसी मॉडल के संदर्भ-विंडो या ज्ञान-सीमा से बाहर होता है, या जब किसी मॉडल से विशिष्ट स्रोतों, तिथियों, या संख्याओं का हवाला देने के लिए कहा जाता है जिन्हें उसे सटीक रूप से याद रखने के लिए प्रशिक्षित नहीं किया गया था, जैसे कानूनी मामले के उद्धरण या शैक्षणिक संदर्भ। कुछ शोधकर्ता समस्या का एक हिस्सा RLHF को बताते हैं, यह तर्क देते हुए कि एक मॉडल को आत्मविश्वासी लगने और मानव मूल्यांकनकर्ताओं को संतुष्ट करने के लिए प्रशिक्षित करना अनिश्चितता स्वीकार करने पर धाराप्रवाह अनुमान को पुरस्कृत कर सकता है। हैलुसिनेशन व्यापक ग्राउंडिंग समस्या से निकटता से संबंधित है: विशुद्ध रूप से पाठ पर प्रशिक्षित एक मॉडल के पास अपने आउटपुट और दुनिया की स्थिति के बीच कोई सीधा संबंध नहीं होता है, इसलिए उसकी प्रशिक्षण प्रक्रिया में कुछ भी तथ्यात्मक सटीकता की गारंटी नहीं देता है।
उल्लेखनीय घटनाएँ
हैलुसिनेशन एक शैक्षणिक चिंता से सार्वजनिक चिंता में तब स्थानांतरित हुआ जब ChatGPT का सार्वजनिक लॉन्च 2022 के अंत में बड़े भाषा मॉडल को व्यापक दर्शकों तक ले आया। 2023 के एक व्यापक रूप से रिपोर्ट किए गए मामले में, न्यूयॉर्क के एक संघीय मुकदमे में वकीलों ने एक संक्षिप्त विवरण प्रस्तुत किया जिसमें काल्पनिक केस उद्धरण शामिल थे जिन्हें ChatGPT ने आविष्कृत किया था, जिसके परिणामस्वरूप प्रतिबंध लगे और मॉडल आउटपुट पर बिना सत्यापन के भरोसा करने के जोखिम की ओर व्यापक ध्यान आकर्षित हुआ। खोज इंजन और सहायक जो वेब परिणामों का सारांश प्रस्तुत करते हैं, उन्होंने भी हैलुसिनेटेड सारांश उत्पन्न किए हैं, जिससे कंपनियों को AI-जनित उत्तरों में उद्धरण और आत्मविश्वास संबंधी चेतावनियाँ जोड़ने के लिए प्रेरित किया गया है।
शमन
सबसे व्यापक रूप से तैनात शमन विधि रिट्रीवल-ऑगमेंटेड जनरेशन है, जिसमें एक सिस्टम क्वेरी के समय प्रासंगिक दस्तावेज़ प्राप्त करता है और मॉडल को अपने उत्तर को उन पर आधारित करने का निर्देश देता है, जिससे काल्पनिक दावों की दर कम होती है लेकिन समाप्त नहीं होती। अन्य दृष्टिकोणों में एक मॉडल को विशेष रूप से अंशांकित अनिश्चितता व्यक्त करने के लिए फाइन-ट्यूनिंग, प्रॉम्प्टिंग तकनीकें जो मॉडल से स्रोतों का हवाला देने या चेन-ऑफ-थॉट के माध्यम से अपना तर्क दिखाने के लिए कहती हैं, और पोस्ट-हॉक तथ्य-जांच पाइपलाइनें शामिल हैं जो उपयोगकर्ता को दिखाने से पहले बाहरी डेटाबेस के विरुद्ध दावों को सत्यापित करती हैं। बेंचमार्क और मूल्यांकन सुइट्स तेजी से सामान्य क्षमता के साथ-साथ एक ट्रैक किए गए मीट्रिक के रूप में हैलुसिनेशन दर को शामिल कर रहे हैं, और कुछ प्रयोगशालाएँ अपनी मूल्यांकन प्रक्रिया के हिस्से के रूप में नए मॉडल रिलीज़ के लिए हैलुसिनेशन आँकड़े रिपोर्ट करती हैं।
चल रही बहस
शोधकर्ता इस बात पर असहमत हैं कि क्या हैलुसिनेशन एक हल करने योग्य इंजीनियरिंग समस्या है या ऑटोरेग्रेसिव भाषा मॉडल के पाठ उत्पन्न करने के तरीके का एक अंतर्निहित गुण है। कुछ लोग तर्क देते हैं कि स्केलिंग और बेहतर प्रशिक्षण डेटा हैलुसिनेशन दरों को लगातार कम करेगा, क्रमिक मॉडल पीढ़ियों में मापे गए सुधारों की ओर इशारा करते हुए। अन्य लोग तर्क देते हैं कि क्योंकि एक भाषा मॉडल के पास प्रत्येक टोकन उत्पन्न करने के तरीके में निर्मित कोई ग्राउंड-ट्रुथ सत्यापन चरण नहीं होता है, बाहरी उपकरणों के बिना कुछ दर की कल्पना अपरिहार्य है, और व्यावहारिक लक्ष्य ऐसे इंटरफेस और वर्कफ़्लो बनाना होना चाहिए जो मान लें कि हैलुसिनेशन होगा और उसे पकड़ने के लिए डिज़ाइन किए गए हों।