ज्ञान आसवन Machine learning में एक तकनीक है, जिसमें एक बड़े, कम्प्यूटेशनल रूप से महंगे मॉडल - जिसे शिक्षक कहा जाता है - के सीखे हुए व्यवहार को एक छोटे मॉडल - जिसे छात्र कहा जाता है - में स्थानांतरित किया जाता है, ताकि छात्र शिक्षक के प्रदर्शन का अनुमान आकार और लागत के एक अंश पर लगा सके। छात्र को केवल कठोर लेबल पर प्रशिक्षित करने के बजाय, आसवन इसे शिक्षक के आउटपुट वितरण से मेल खाने के लिए प्रशिक्षित करता है, जो सभी संभावित उत्तरों पर शिक्षक के आत्मविश्वास के बारे में अतिरिक्त जानकारी रखता है, न कि केवल एक सही उत्तर पर।
इतिहास
मूल विचार 2000 के दशक की शुरुआत में मॉडल संपीड़न पर काम से जुड़ा है, लेकिन आधुनिक रूप 2015 में Geoffrey Hinton, ओरिओल विनयल्स और जेफ डीन द्वारा पेपर "डिस्टिलिंग द नॉलेज इन अ न्यूरल नेटवर्क" में पेश किया गया था। उन्होंने सॉफ्टमैक्स फ़ंक्शन का "तापमान" बढ़ाकर उत्पन्न शिक्षक के नरम आउटपुट संभावनाओं पर छात्र को प्रशिक्षित करने का प्रस्ताव रखा, यह तर्क देते हुए कि ये नरम लक्ष्य वर्गों के बीच सापेक्ष समानताएं उजागर करते हैं जिन्हें कठोर लेबल त्याग देते हैं। यह तकनीक 2010 के दशक के दौरान एक विशिष्ट संपीड़न विधि बनी रही, जो मुख्य रूप से दृष्टि कार्यों के लिए Convolutional neural network पर लागू होती थी, इससे पहले कि यह Large language model युग का केंद्र बन जाए।
विधि
मानक सेटअप में, छात्र को एक हानि के साथ प्रशिक्षित किया जाता है जो दो पदों को जोड़ती है: ग्राउंड-ट्रुथ लेबल के खिलाफ एक पारंपरिक Loss function, और छात्र और शिक्षक के नरम आउटपुट वितरण के बीच एक विचलन पद, आमतौर पर कुलबैक-लीब्लर विचलन। तापमान पैरामीटर नियंत्रित करता है कि नरम लक्ष्य कितने चिकने किए गए हैं; उच्च तापमान शिक्षक की अनिश्चितता संरचना को अधिक प्रकट करते हैं। विविधताएं आउटपुट मिलान से परे विचार का विस्तार करती हैं: फीचर-आधारित आसवन मध्यवर्ती परत सक्रियणों को संरेखित करता है, और संबंधपरक आसवन मेल खाता है कि शिक्षक उदाहरणों के बीच संबंधों का प्रतिनिधित्व कैसे करता है। आसवन Fine-tuning और LoRA से अलग है, जो एक मौजूदा मॉडल के अपने वजन को अनुकूलित करते हैं, बजाय शिक्षक के संकेत से एक अलग, छोटे नेटवर्क को प्रशिक्षित करने के, हालांकि तकनीकों को अक्सर व्यवहार में जोड़ा जाता है।
अनुप्रयोग
आसवन BERT-परिवार संपीड़न के साथ व्यावसायिक रूप से महत्वपूर्ण बन गया, विशेष रूप से DistilBERT (2019), जिसने BERT के भाषा समझ प्रदर्शन का लगभग 97% बनाए रखा, 40% कम पैरामीटर और लगभग 60% तेज अनुमान के साथ, जिससे यह Edge AI और विलंबता-संवेदनशील तैनाती के लिए व्यावहारिक बन गया। 2025 में DeepSeek-R1 ने अपने स्वयं के तर्क निशान से आसवित छोटे खुले-वजन मॉडल का एक परिवार जारी करने के बाद तकनीक ने नया ध्यान आकर्षित किया, यह दिखाते हुए कि आसवन चरण-दर-चरण तर्क क्षमता को स्थानांतरित कर सकता है, न केवल वर्गीकरण सटीकता, मामूली हार्डवेयर पर चलने वाले कॉम्पैक्ट मॉडल में। प्रमुख प्रयोगशालाएं उच्च-मात्रा Inference (AI) के लिए प्रमुख मॉडलों के सस्ते, तेज़ संस्करण उत्पन्न करने और एकल तैनाती योग्य नेटवर्क में समूहों को संपीड़ित करने के लिए आंतरिक रूप से आसवन का उपयोग भी करती हैं।
सीमाएं और आलोचना
आसवित छात्र आम तौर पर सबसे कठिन उदाहरणों पर अपने शिक्षकों से कम प्रदर्शन करते हैं और शिक्षक के पूर्वाग्रहों और अंधे धब्बों को विरासत में ले सकते हैं या बढ़ा सकते हैं, क्योंकि वे अंतर्निहित कार्य को स्वतंत्र रूप से मॉडल करने के बजाय शिक्षक की नकल करने के लिए अनुकूलित होते हैं। इस बात पर चल रही बहस है कि किसी मॉडल की क्षमता का कितना हिस्सा आसवन से बच सकता है बनाम कितना स्वयं पैमाने पर निर्भर करता है; कुछ सबूत बताते हैं कि कुछ Emergent abilities छोटे आसवित मॉडल में असमान रूप से क्षीण हो जाती हैं, भले ही बेंचमार्क स्कोर समान दिखते हों। आसवन व्यावसायिक रूप से विवादास्पद भी हो गया है: कई AI प्रयोगशालाओं ने प्रतिस्पर्धियों पर पैमाने पर अपने आउटपुट पर प्रशिक्षण देकर स्वामित्व मॉडल को आसवित करने का आरोप लगाया है, एक ऐसी प्रथा जो अधिकांश प्रदाताओं की सेवा की शर्तों का उल्लंघन करती है लेकिन पता लगाना या साबित करना मुश्किल है, और जनवरी 2025 के DeepSeek market shock के कवरेज में एक फ्लैशपॉइंट बन गई।