सैम्पलिंग तापमान एक पैरामीटर है जिसका उपयोग किसी प्रायिकतावादी मॉडल से पाठ या अन्य सामग्री उत्पन्न करते समय किया जाता है, जो मान से पहले मॉडल द्वारा अगले टोकन को नमूने के लिए चुने जाने वाले प्रायिकता वितरण को पुनः-स्केल करके आउटपुट की यादृच्छिकता या नियतात्मकता को नियंत्रित करता है। यह बड़े भाषा मॉडल और अन्य स्वतःप्रतिगामी मॉडल के लिए API और इंटरफेस में सबसे आम रूप से उजागर किए जाने वाले सेटिंग्स में से एक है।
यह कैसे काम करता है
एक स्वतःप्रतिगामी भाषा मॉडल, प्रत्येक चरण पर, अगले टोकन के लिए संभावित विकल्पों पर एक प्रायिकता वितरण उत्पन्न करता है, जिसे आमतौर पर मॉडल के कच्चे आउटपुट स्कोर, या लॉगिट्स पर सॉफ्टमैक्स फ़ंक्शन के साथ गणना की जाती है। यह प्रक्रिया Inference (AI) समय पर होती है, जब मॉडल के भार प्रशिक्षण द्वारा तय हो चुके होते हैं। तापमान को सॉफ्टमैक्स चरण से पहले उन लॉगिट्स को तापमान मान से विभाजित करके लागू किया जाता है। 1.0 का तापमान वितरण को वैसे ही छोड़ देता है जैसा मॉडल ने गणना की थी। 1.0 से नीचे का तापमान वितरण को तीक्ष्ण करता है, जिससे सबसे संभावित टोकन के चुने जाने की संभावना और बढ़ जाती है और कम-संभावना वाले टोकन के प्रकट होने की संभावना घट जाती है; 0 के करीब आने वाला तापमान लगभग हमेशा सबसे उच्च-संभावना वाले एकल टोकन को चुनने के बराबर होता है, जिसे कभी-कभी लालची डिकोडिंग कहा जाता है। 1.0 से ऊपर का तापमान वितरण को चपटा करता है, जिससे कम-संभावना वाले टोकन को चुने जाने का अपेक्षाकृत बेहतर मौका मिलता है, जिससे आउटपुट की विविधता और अप्रत्याशितता बढ़ जाती है, लेकिन Hallucination (AI) की संभावना भी बढ़ सकती है, क्योंकि कम संभावित लेकिन गलत टोकन के नमूने में आने की संभावना बढ़ जाती है।
अन्य नमूना नियंत्रणों से संबंध
तापमान आमतौर पर अकेले उपयोग के बजाय अन्य डिकोडिंग नियंत्रणों के साथ संयुक्त रूप से उपयोग किया जाता है। टॉप-पी नमूनाकरण, जिसे न्यूक्लियस नमूनाकरण भी कहा जाता है, मॉडल को उन टोकन के सबसे छोटे समूह से चुनने तक सीमित करता है जिनकी संचयी प्रायिकता एक सीमा पी से अधिक होती है, जो तापमान को ऊंचा होने पर भी कभी-कभी अत्यंत असंभावित टोकन का चयन करने से रोकता है। टॉप-के नमूनाकरण इसी तरह नमूनाकरण को सबसे संभावित टोकनों की एक निश्चित संख्या तक सीमित करता है। ये सेटिंग्स परस्पर क्रिया करती हैं: उच्च तापमान को ढीली टॉप-पी या टॉप-के प्रतिबंध के साथ जोड़ने पर पाठ असंगत हो सकता है, जबकि शून्य के करीब तापमान को कड़े प्रतिबंधों के साथ जोड़ने पर अत्यधिक दोहरावपूर्ण, नियतात्मक आउटपुट उत्पन्न होता है, जो कोड निर्माण या डेटा निष्कर्षण जैसे कार्यों के लिए कभी-कभी वांछनीय होता है जहां रचनात्मक भिन्नता के बजाय एक एकल, सुसंगत उत्तर को प्राथमिकता दी जाती है।
व्यावहारिक उपयोग
कम या शून्य तापमान सेटिंग्स आमतौर पर उन कार्यों के लिए उपयोग की जाती हैं जो स्थिरता और सटीकता से लाभान्वित होते हैं, जैसे तथ्यात्मक प्रश्न-उत्तर, संरचित डेटा निष्कर्षण, गणितीय गणना, और कोड निर्माण, जहां शब्दों में भिन्नता मूल्यवान नहीं होती और त्रुटियां ला सकती है। तर्क मॉडल जो मध्यवर्ती तर्क की लंबी श्रृंखला उत्पन्न करते हैं, अक्सर उस प्रक्रिया को स्थिर रखने के लिए कम तापमान पर चलाए जाते हैं। उच्च तापमान सेटिंग्स उन कार्यों के लिए उपयोग की जाती हैं जो विविधता से लाभान्वित होते हैं, जैसे विचार-मंथन, रचनात्मक लेखन, चैटबॉट या गेम पात्रों के लिए संवाद, और Text-to-image generation निर्माण के कुछ अनुप्रयोग, जहां एक ही इनपुट से कई अलग-अलग आउटपुट उपयोगी हो सकते हैं। क्योंकि तापमान सीधे पूर्वानुमेयता को विविधता के साथ व्यापार करता है, यह Prompt engineering मार्गदर्शन का एक लगातार विषय है, और मूल्यांकन सुइट और बेंचमार्क आमतौर पर परिणामों को रनों में पुनरुत्पादनीय बनाने के लिए तापमान को शून्य या उसके करीब तय करते हैं। तापमान मॉडल के अंतर्निहित ज्ञान या तर्क क्षमता को प्रभावित नहीं करता है; यह केवल यह बदलता है कि मॉडल उन आउटपुटों के बीच कैसे चयन करता है जिन्हें उसके प्रशिक्षण ने पहले से संभव बनाया है, यही कारण है कि तापमान बढ़ाने से अधिक विविध लेकिन अधिक सटीक उत्तर नहीं उत्पन्न हो सकते।