इन-कॉन्टेक्स्ट लर्निंग एक भाषा मॉडल की अपने व्यवहार को नए कार्य के अनुसार ढालने की क्षमता है, जो पूरी तरह से उसके प्रॉम्प्ट की सामग्री पर आधारित होती है, बिना मॉडल के पैरामीटरों में किसी भी अद्यतन के। एक उपयोगकर्ता एक ही वार्तालाप के Context window के भीतर निर्देश, उदाहरण, या सहायक दस्तावेज़ प्रदान कर सकता है, और मॉडल अपने अगले आउटपुट को उस सामग्री पर शर्तबद्ध करेगा जैसे कि उसे उस कार्य के लिए प्रशिक्षित किया गया हो, भले ही वास्तव में कोई प्रशिक्षण न हुआ हो। यह Few-shot learning और Zero-shot learning दोनों प्रॉम्प्टिंग तकनीकों के अंतर्निहित तंत्र है, और यह आधुनिक Transformer (architecture)-आधारित Large language model प्रणालियों में देखे गए सबसे महत्वपूर्ण व्यवहारों में से एक है।
इस घटना को 2020 के GPT-3 पेपर में प्रमुखता से उजागर किया गया था, जिसमें दिखाया गया था कि एक पर्याप्त बड़ा पूर्व-प्रशिक्षित मॉडल बिना किसी ग्रेडिएंट अद्यतन के कुछ प्रॉम्प्ट उदाहरणों से नए कार्य कर सकता है। क्योंकि यह सतही रूप से ऐसा लगता था जैसे मॉडल एक ही फॉरवर्ड पास में "सीख" रहा है, इन-कॉन्टेक्स्ट लर्निंग शब्द को इसे सामान्य प्रशिक्षण-समय सीखने से अलग करने के लिए अपनाया गया, जो वजन बदलता है, और Transfer learning या Fine-tuning से, जिन्हें कार्य-विशिष्ट डेटा पर स्पष्ट अनुकूलन चरण की भी आवश्यकता होती है।
यह कैसे काम करता है
इन-कॉन्टेक्स्ट लर्निंग के लिए कोई एक स्थापित यांत्रिक स्पष्टीकरण नहीं है, लेकिन कई पूरक विवरण व्यापक रूप से उद्धृत किए जाते हैं। एक दृष्टिकोण इसे अंतर्निहित पैटर्न मिलान के रूप में मानता है: क्योंकि मॉडल के Pretraining कोरपस में कार्यों के समझाए, प्रदर्शित और पाठ में हल किए जाने के अनगिनत उदाहरण होते हैं, मॉडल ने "कार्य, उदाहरण, फिर नया इंस्टेंस" अनुक्रमों को इस तरह जारी रखने की सामान्य प्रक्रिया सीखी है जो निहित पैटर्न को संतुष्ट करती है। एक अधिक यांत्रिक व्याख्या-क्षमता अनुसंधान रेखा ने प्रस्तावित किया है कि ट्रांसफॉर्मर के अंदर Attention mechanism आंतरिक रूप से एक सरल सीखने के एल्गोरिदम जैसा कुछ लागू कर सकता है, प्रभावी रूप से प्रॉम्प्ट के टोकनों में हल्के पैटर्न-पूर्णता या यहां तक कि ग्रेडिएंट-वंश-जैसी गणना करता है, हालांकि यह व्यापक Mechanistic interpretability अनुसंधान से जुड़ा एक सक्रिय और विवादित क्षेत्र बना हुआ है। इन-कॉन्टेक्स्ट लर्निंग पैमाने के साथ क्षमताओं के उद्भव से भी निकटता से जुड़ा है, जिसे Emergent abilities के अंतर्गत चर्चा की गई है, क्योंकि छोटे मॉडल पर्याप्त बड़े मॉडलों की तुलना में जोड़े गए संदर्भ से कहीं कम लाभान्वित होते हैं।
उपयोग
इन-कॉन्टेक्स्ट लर्निंग Prompt engineering के अधिकांश व्यावहारिक उपयोगों का आधार है, जिसमें फ्यू-शॉट प्रदर्शन, System prompt के माध्यम से भूमिका और व्यक्तित्व निर्देश शामिल हैं, और संदर्भ सामग्री को सीधे प्रॉम्प्ट में प्रदान करना ताकि मॉडल इसके बारे में प्रश्नों का उत्तर दे सके, एक पैटर्न जो Retrieval-augmented generation में विस्तारित होता है जब संदर्भ सामग्री बाहरी स्रोत से गतिशील रूप से प्राप्त की जाती है न कि हाथ से चिपकाई जाती है। यह एक ही वार्तालाप के भीतर तेज़ी से कार्य-स्विचिंग भी सक्षम बनाता है: एक चैट सहायक कोड लिखने से पैराग्राफ का अनुवाद करने से दस्तावेज़ का सारांश देने तक जा सकता है, पूरी तरह से क्योंकि प्रत्येक नया निर्देश मॉडल के व्यवहार को पुनः-शर्तबद्ध करता है, बिना मोड़ों के बीच किसी पुनःप्रशिक्षण के।
सीमाएं और महत्व
इन-कॉन्टेक्स्ट लर्निंग संदर्भ विंडो के आकार से सीमित है और यह तब घटता है जब प्रॉम्प्ट में जानकारी की मात्रा बहुत बड़ी हो जाती है या जब प्रासंगिक विवरण लंबे इनपुट के मध्य में दबे होते हैं, एक प्रभाव जिसे कभी-कभी अनौपचारिक रूप से मॉडल द्वारा संदर्भ "खो देने" के रूप में वर्णित किया जाता है। यह स्थायी भी नहीं है: क्योंकि कोई भी वजन नहीं बदलता, संदर्भ में सीखी गई कोई भी चीज़ वार्तालाप समाप्त होते ही या संदर्भ साफ़ होते ही भूल जाती है, फाइन-ट्यूनिंग के विपरीत, जो मॉडल में स्थायी परिवर्तन उत्पन्न करती है। इन सीमाओं के बावजूद, इन-कॉन्टेक्स्ट लर्निंग को व्यावहारिक तैनाती के लिए ट्रांसफॉर्मर वास्तुकला के सबसे महत्वपूर्ण गुणों में से एक माना जाता है, क्योंकि यह एक सामान्य-उद्देश्य मॉडल को अनुमान समय पर प्रभावी रूप से असीमित कार्यों की श्रृंखला के लिए पुनःउपयोग करने की अनुमति देता है, बिना उस लागत, देरी, या बुनियादी ढांचे के जो मॉडल के पुनःप्रशिक्षण या फाइन-ट्यूनिंग की आवश्यकता होती।