तापमान एक हाइपरपैरामीटर है जिसका उपयोग बड़े भाषा मॉडल में पाठ निर्माण के दौरान मॉडल के आउटपुट की यादृच्छिकता को नियंत्रित करने के लिए किया जाता है। यह एक स्केलिंग कारक है जो मॉडल की अंतिम परत द्वारा उत्पन्न लॉगिट्स (कच्चे, असंसाधित स्कोर) पर लागू होता है, इससे पहले कि सॉफ्टमैक्स फ़ंक्शन उन्हें शब्दावली पर संभाव्यता वितरण में परिवर्तित करे। तापमान को समायोजित करके, डेवलपर्स और उपयोगकर्ता उत्पन्न पाठ में रचनात्मकता और पूर्वानुमेयता के बीच संतुलन को प्रभावित कर सकते हैं।
यह अवधारणा सांख्यिकीय यांत्रिकी से उत्पन्न हुई है, जहाँ तापमान किसी प्रणाली की एन्ट्रॉपी को नियंत्रित करता है। मशीन लर्निंग में, तापमान को सॉफ्टमैक्स फ़ंक्शन में संशोधन के रूप में पेश किया गया था, जिसे कभी-कभी 'सॉफ्टमैक्स तापमान' कहा जाता है, ताकि आउटपुट वितरण को तीव्र या चपटा किया जा सके। 1.0 का तापमान वितरण को अपरिवर्तित छोड़ देता है। 1.0 से अधिक मान एन्ट्रॉपी बढ़ाते हैं, जिससे वितरण अधिक समान और इस प्रकार अधिक यादृच्छिक हो जाता है। 1.0 से कम मान एन्ट्रॉपी घटाते हैं, जिससे वितरण अधिक शिखरयुक्त और इस प्रकार अधिक नियतात्मक हो जाता है। 0.0 (या लगभग शून्य) का तापमान प्रभावी रूप से उच्चतम संभावना वाले टोकन का चयन करता है, जिसके परिणामस्वरूप लालची डिकोडिंग होती है।
तापमान एलएलएम अनुमान में उपयोग की जाने वाली कई सैंपलिंग रणनीतियों में से एक है, साथ ही टॉप-के सैंपलिंग और न्यूक्लियस सैंपलिंग (टॉप-पी) भी। इन विधियों का उपयोग अक्सर उत्पन्न पाठ की गुणवत्ता और विविधता को नियंत्रित करने के लिए एक साथ किया जाता है। व्यवहार में, तापमान वांछित अनुप्रयोग के आधार पर निर्धारित किया जाता है: तथ्यात्मक सटीकता या कोड निर्माण की आवश्यकता वाले कार्यों के लिए कम तापमान, और रचनात्मक लेखन या विचार-मंथन के लिए उच्च तापमान।
एलएलएम अनुमान में भूमिका
अनुमान के दौरान, एक एलएलएम अपनी पूरी शब्दावली पर संभाव्यता वितरण की गणना करके अगले टोकन की भविष्यवाणी करता है। तापमान पैरामीटर सैंपलिंग से पहले इस वितरण को संशोधित करता है। लॉगिट्स z के एक दिए गए सेट के लिए, टोकन i की संभावना सॉफ्टमैक्स(z_i / T) के रूप में गणना की जाती है, जहाँ T तापमान है। जब T कम होता है, लॉगिट्स के बीच अंतर बढ़ जाता है, जिससे सबसे संभावित टोकन हावी हो जाता है। जब T अधिक होता है, अंतर कम हो जाते हैं, जिससे कम संभावित टोकन को चुने जाने का अधिक अवसर मिलता है।
यह तंत्र एक ही मॉडल को एक ही प्रॉम्प्ट के लिए विविध आउटपुट उत्पन्न करने की अनुमति देता है। उदाहरण के लिए, ग्राहक सहायता चैटबॉट के लिए 0.2 का तापमान उपयोग किया जा सकता है ताकि सुसंगत, विश्वसनीय प्रतिक्रियाएँ सुनिश्चित हों, जबकि रचनात्मक लेखन सहायक के लिए 0.8 का तापमान अधिक कल्पनाशील गद्य उत्पन्न करने के लिए उपयोग किया जा सकता है। कई एलएलएम एपीआई, जैसे कि OpenAI, Anthropic, और Google DeepMind से, तापमान को एक कॉन्फ़िगर करने योग्य पैरामीटर के रूप में उजागर करते हैं।
आउटपुट गुणवत्ता पर प्रभाव
तापमान का उत्पन्न पाठ की गुणवत्ता और सुसंगतता पर सीधा प्रभाव पड़ता है। कम तापमान दोहराव वाले और सुरक्षित आउटपुट उत्पन्न करते हैं, लेकिन वे 'मोड कोलैप्स' भी ला सकते हैं जहाँ मॉडल एक लूप में फंस जाता है। उच्च तापमान व्याकरण संबंधी त्रुटियाँ, तार्किक असंगतताएँ, या निरर्थक सामग्री पेश कर सकते हैं, क्योंकि मॉडल असंभावित टोकन का चयन कर सकता है। इष्टतम तापमान खोजने के लिए अक्सर प्रयोग की आवश्यकता होती है और यह विशिष्ट कार्य और मॉडल पर निर्भर करता है।
शोध और व्यावहारिक अनुभव से पता चला है कि मध्यम तापमान (जैसे, 0.7 से 0.9) अक्सर सामान्य-उद्देश्यीय पाठ निर्माण के लिए एक अच्छा संतुलन बनाते हैं। हालाँकि, कोड निर्माण जैसे कार्यों के लिए, वाक्यविन्यास त्रुटियों को कम करने और सटीकता में सुधार करने के लिए कम तापमान (जैसे, 0.1 से 0.3) की सिफारिश की जाती है। इसके विपरीत, कहानी निर्माण या संवाद जैसे कार्यों के लिए, उच्च तापमान अधिक आकर्षक और विविध प्रतिक्रियाएँ उत्पन्न कर सकते हैं।
अन्य सैंपलिंग विधियों से संबंध
तापमान का उपयोग अक्सर अन्य सैंपलिंग तकनीकों के साथ संयोजन में किया जाता है। टॉप-के सैंपलिंग सैंपलिंग पूल को सबसे संभावित अगले k टोकन तक सीमित करती है, जबकि न्यूक्लियस सैंपलिंग (टॉप-पी) उन टोकन के सबसे छोटे सेट से चयन करती है जिनकी संचयी संभावना एक सीमा p से अधिक होती है। इन विधियों को यादृच्छिकता को और नियंत्रित करने के लिए तापमान के साथ जोड़ा जा सकता है। उदाहरण के लिए, एक मॉडल तापमान 0.8 के साथ टॉप-पी 0.9 का उपयोग कर सकता है, जिसका अर्थ है कि तापमान पहले लागू किया जाता है, फिर न्यूक्लियस फ़िल्टर सबसे संभावित टोकन का चयन करता है जो सामूहिक रूप से 90% संभाव्यता द्रव्यमान के लिए जिम्मेदार होते हैं।
कुछ कार्यान्वयनों में, तापमान टॉप-के या टॉप-पी फ़िल्टरिंग से पहले लागू किया जाता है, जबकि अन्य में इसे बाद में लागू किया जाता है। सटीक क्रम परिणामी वितरण को प्रभावित कर सकता है, लेकिन सामान्य सिद्धांत समान रहता है: तापमान समग्र यादृच्छिकता को समायोजित करता है, जबकि टॉप-के और टॉप-पी सबसे संभावित टोकन पर ध्यान केंद्रित करते हैं।
व्यावहारिक विचार
उत्पादन में एलएलएम तैनात करते समय, तापमान एक महत्वपूर्ण पैरामीटर है जिसे ट्यून करना आवश्यक है। यह न केवल आउटपुट की गुणवत्ता को प्रभावित करता है, बल्कि लागत और विलंबता को भी प्रभावित करता है, क्योंकि उच्च तापमान लंबे निर्माण की ओर ले जा सकता है यदि मॉडल अधिक विविध पथों की खोज करता है। कुछ फ्रेमवर्क, जैसे कि हगिंग फेस ट्रांसफॉर्मर्स लाइब्रेरी, तापमान और अन्य सैंपलिंग पैरामीटर के लिए अंतर्निहित समर्थन प्रदान करते हैं।
तापमान फाइन-ट्यूनिंग और सुदृढीकरण सीखने में भी प्रासंगिक है। प्रशिक्षण के दौरान, ज्ञान आसवन नामक एक तकनीक एक शिक्षक मॉडल के आउटपुट वितरण को नरम करने के लिए तापमान का उपयोग करती है, जिससे एक छात्र मॉडल शिक्षक के संभाव्य आउटपुट से सीख सकता है। इस संदर्भ में, तापमान का उपयोग लेबल की 'नरमता' को नियंत्रित करने के लिए किया जाता है, जो छात्र के सामान्यीकरण में सुधार कर सकता है।
ऐतिहासिक संदर्भ
सॉफ्टमैक्स फ़ंक्शन में तापमान का उपयोग आधुनिक एलएलएम से पहले का है। इसे 1980 और 1990 के दशक में तंत्रिका नेटवर्क के संदर्भ में पेश किया गया था, विशेष रूप से जेफ्री हिंटन और बोल्ट्ज़मैन मशीनों और तंत्रिका नेटवर्क प्रशिक्षण पर काम करने वाले अन्य शोधकर्ताओं द्वारा। यह अवधारणा बाद में अनुक्रम-से-अनुक्रम मॉडल में अपनाई गई और अंततः ट्रांसफॉर्मर-आधारित एलएलएम में एक मानक सुविधा बन गई। 2020 के दशक की शुरुआत तक, तापमान एलएलएम एपीआई और ओपन-सोर्स कार्यान्वयनों में एक सर्वव्यापी पैरामीटर है।
यह भी देखें
- Top-P (Nucleus) Sampling
- Top-K Sampling
- सॉफ्टमैक्स
- लॉगिट्स