पुनर्प्राप्ति-संवर्धित पीढ़ी, जिसे आमतौर पर RAG के रूप में संक्षिप्त किया जाता है, एक ऐसी तकनीक है जिसमें एक बड़े भाषा मॉडल को एक पुनर्प्राप्ति प्रणाली के साथ जोड़ा जाता है जो मॉडल के प्रतिक्रिया उत्पन्न करने से पहले किसी बाहरी स्रोत से प्रासंगिक पाठ लाती है। पूर्व-प्रशिक्षण के दौरान अपने मापदंडों में एन्कोड किए गए ज्ञान पर पूरी तरह निर्भर रहने के बजाय, मॉडल को क्वेरी समय पर पुनर्प्राप्त किए गए अंश दिए जाते हैं, आमतौर पर उसके संकेत में डाले जाते हैं, और उस आपूर्ति की गई सामग्री का उपयोग करके उत्तर देने के लिए कहा जाता है। यह दृष्टिकोण एक सामान्य-उद्देश्यीय मॉडल को उन सामग्रियों के बारे में प्रश्नों का उत्तर देने की अनुमति देता है जिन पर इसे कभी प्रशिक्षित नहीं किया गया था, जिसमें निजी दस्तावेज़, हाल की घटनाएँ, या बड़े संग्रह शामिल हैं जो एक साथ संदर्भ-विंडो में फिट होने के लिए बहुत बड़े हैं।
इस तकनीक को RAG नाम के तहत 2020 में मेटा एआई (तब फेसबुक एआई रिसर्च) के शोधकर्ताओं द्वारा एक पेपर में पेश किया गया था, जिसने एक पूर्व-प्रशिक्षित अनुक्रम-से-अनुक्रम भाषा मॉडल को एक सघन अंश पुनर्प्राप्तकर्ता के साथ जोड़ा, यह दिखाते हुए कि पुनर्प्राप्ति ने विशुद्ध रूप से पैरामीट्रिक मॉडल की तुलना में ज्ञान-गहन कार्यों पर तथ्यात्मक सटीकता में सुधार किया। यह विचार पुराने सूचना-पुनर्प्राप्ति और प्रश्न-उत्तर अनुसंधान पर आधारित था, लेकिन RAG ढांचे ने इसे विशेष रूप से जनरेटिव ट्रांसफॉर्मर मॉडल से जोड़ा और 2022 से चैट सहायकों और उद्यम खोज उत्पादों द्वारा इस पैटर्न को अपनाने के साथ यह उद्योग भर में मानक शब्द बन गया।
वास्तुकला
एक विशिष्ट RAG पाइपलाइन में दो चरण होते हैं। पुनर्प्राप्ति चरण में, एक क्वेरी को संख्यात्मक प्रतिनिधित्व, एक एम्बेडिंग में परिवर्तित किया जाता है, और दस्तावेज़ संग्रह के लिए एम्बेडिंग के पूर्व-गणना किए गए सूचकांक के खिलाफ तुलना की जाती है, जो अक्सर कुशल निकटतम-पड़ोसी लुकअप के लिए वेक्टर-डेटाबेस में संग्रहीत होता है; यह चरण सिमेंटिक-खोज से निकटता से संबंधित है, जो सटीक कीवर्ड मिलान के बजाय अर्थ द्वारा पुनर्प्राप्त करता है। पीढ़ी चरण में, शीर्ष-रैंक वाले अंशों को उपयोगकर्ता के मूल प्रश्न के साथ मॉडल के संकेत में डाला जाता है, और मॉडल उस पुनर्प्राप्त संदर्भ पर आधारित उत्तर उत्पन्न करता है, अपनी सामान्य भाषा क्षमता पर चित्रण करते हुए विशिष्ट आपूर्ति किए गए तथ्यों की ओर निर्देशित होता है। कई उत्पादन प्रणालियाँ अतिरिक्त चरण जोड़ती हैं, जैसे कि एक अलग मॉडल के साथ पुनर्प्राप्त अंशों को फिर से रैंक करना, दस्तावेज़ों को अतिव्यापी खंडों में विभाजित करना, या जटिल प्रश्नों के लिए कई पुनर्प्राप्ति क्वेरी जारी करना।
प्रेरणा: मतिभ्रम और ताजगी
RAG का व्यापक रूप से मतिभ्रम के शमन के रूप में उपयोग किया जाता है, जो भाषा मॉडल की प्रशंसनीय लेकिन झूठे या असमर्थित बयान उत्पन्न करने की प्रवृत्ति है। क्योंकि एक मॉडल का पैरामीट्रिक ज्ञान पूर्व-प्रशिक्षण के अंत में स्थिर होता है और पुराना, अधूरा, या आला और निजी विषयों के लिए बस अनुपस्थित हो सकता है, पुनर्प्राप्त स्रोत पाठ में प्रतिक्रिया को आधारित करने से मॉडल विशिष्ट अंशों का हवाला दे सकता है और निर्मित दावों की दर को कम करता है (हालांकि समाप्त नहीं करता)। यह उसी मॉडल को कई निजी डेटा सेटों पर लागू करने की भी अनुमति देता है, जैसे कि किसी कंपनी के आंतरिक दस्तावेज़ या ग्राहक की अपनी फ़ाइलें, बिना किसी फाइन-ट्यूनिंग के, क्योंकि पुनर्प्राप्ति सूचकांक को मॉडल से स्वतंत्र रूप से बदला या अद्यतन किया जा सकता है।
अनुप्रयोग और सीमाएँ
RAG अधिकांश उद्यम "अपने दस्तावेज़ों के साथ चैट करें" उत्पादों, ज्ञान आधार में आधारित ग्राहक सहायता सहायकों, और कोडिंग सहायकों को रेखांकित करता है जो उत्तर देने से पहले प्रासंगिक फ़ाइलें या दस्तावेज़ पुनर्प्राप्त करते हैं। यह एआई-एजेंट प्रणालियों का एक सामान्य वास्तुशिल्प घटक भी है, जहां एक एजेंट बहु-चरणीय कार्य के दौरान कई उपलब्ध क्रियाओं में से एक के रूप में पुनर्प्राप्ति कॉल जारी कर सकता है। सीमाओं में पुनर्प्राप्ति गुणवत्ता के प्रति संवेदनशीलता शामिल है, क्योंकि एक मॉडल अभी भी मतिभ्रम कर सकता है या गलत उत्तर दे सकता है यदि पुनर्प्राप्त अंश अप्रासंगिक या अधूरे हैं; एक सूचकांक बनाए रखने की अतिरिक्त विलंबता और बुनियादी ढांचा; और तथ्य यह है कि पुनर्प्राप्ति केवल तभी मदद करती है जब आवश्यक जानकारी अनुक्रमित संग्रह में कहीं मौजूद हो। जैसे-जैसे संदर्भ विंडो सैकड़ों हजारों टोकन तक बढ़ी हैं, कुछ चिकित्सकों ने बहस की है कि क्या कुछ मामलों में पूरे दस्तावेज़ों को सीधे संकेत में आपूर्ति करना पुनर्प्राप्ति का विकल्प बन सकता है, हालांकि RAG संदर्भ में फिट होने के लिए बहुत बड़े संग्रह के लिए और बड़े दस्तावेज़ संग्रह को बार-बार पुनः प्रसंस्करण के बिना खोजने योग्य और वर्तमान रखने के लिए मानक दृष्टिकोण बना हुआ है।