क्रॉस-एंट्रॉपी सूचना सिद्धांत और मशीन लर्निंग में एक मौलिक अवधारणा है, जो वर्गीकरण समस्याओं के लिए लॉस फ़ंक्शन के रूप में कार्य करती है। यह दो संभाव्यता वितरणों के बीच असमानता को मापता है: वास्तविक वितरण (अक्सर ग्राउंड ट्रुथ लेबल) और अनुमानित वितरण (मॉडल का आउटपुट)। तंत्रिका नेटवर्क के संदर्भ में, क्रॉस-एंट्रॉपी का व्यापक रूप से छवि वर्गीकरण, प्राकृतिक भाषा प्रसंस्करण और वाक् पहचान जैसे कार्यों के लिए मॉडल प्रशिक्षित करने में उपयोग किया जाता है।
परिभाषा
घटनाओं के असतत समुच्चय पर दो संभाव्यता वितरणों \(p\) (वास्तविक) और \(q\) (अनुमानित) के लिए, क्रॉस-एंट्रॉपी को इस प्रकार परिभाषित किया गया है:
\[ H(p, q) = -\sum_{x} p(x) \log q(x) \]
वर्गीकरण में, \(p\) आमतौर पर एक वन-हॉट एन्कोडेड वेक्टर होता है जहाँ वास्तविक वर्ग की संभावना 1 और अन्य की 0 होती है, और \(q\) मॉडल का आउटपुट संभावनाएँ (जैसे, सॉफ्टमैक्स परत से) होता है। क्रॉस-एंट्रॉपी तब वास्तविक वर्ग की ऋणात्मक लॉग-संभावना तक सरल हो जाती है, जिसे अक्सर इस प्रकार लिखा जाता है:
\[ L = -\log q(y_{\text{true}}) \]
जहाँ \(y_{\text{true}}\) सही वर्ग सूचकांक है।
मशीन लर्निंग में भूमिका
क्रॉस-एंट्रॉपी बहु-वर्ग वर्गीकरण के लिए मानक लॉस फ़ंक्शन है। यह उच्च आत्मविश्वास के साथ गलत भविष्यवाणियों को दंडित करता है, जिससे मॉडल को सही वर्ग को उच्च संभावना देने के लिए प्रोत्साहित किया जाता है। माध्य वर्ग त्रुटि के विपरीत, क्रॉस-एंट्रॉपी सॉफ्टमैक्स आउटपुट के साथ अच्छी तरह से काम करती है क्योंकि यह गलत भविष्यवाणियों पर मजबूत ग्रेडिएंट प्रदान करती है, जिससे तेज़ अभिसरण होता है। यह कुलबैक-लीब्लर विचलन से निकटता से संबंधित है, जो दो वितरणों के बीच सापेक्ष एंट्रॉपी को मापता है; जब वास्तविक वितरण स्थिर होता है, तो क्रॉस-एंट्रॉपी को न्यूनतम करना केएल विचलन को न्यूनतम करने के बराबर है।
अनुप्रयोग
क्रॉस-एंट्रॉपी का उपयोग विभिन्न मशीन लर्निंग डोमेन में किया जाता है। डीप लर्निंग में, यह वर्गीकरण नेटवर्क के लिए डिफ़ॉल्ट लॉस है, जिसमें छवि पहचान के लिए कन्वोल्यूशनल न्यूरल नेटवर्क (सीएनएन) और अनुक्रम कार्यों के लिए आवर्ती नेटवर्क शामिल हैं। प्राकृतिक भाषा प्रसंस्करण में, यह भाषा मॉडलिंग में नियोजित है, जहाँ मॉडल अनुक्रम में अगले टोकन की भविष्यवाणी करता है, और बड़े भाषा मॉडल में उपयोग किए जाने वाले ट्रांसफॉर्मर-आधारित आर्किटेक्चर में। इसके अतिरिक्त, क्रॉस-एंट्रॉपी का उपयोग सुदृढीकरण सीखने में पॉलिसी ग्रेडिएंट विधियों के लिए और अनसुपरवाइज्ड लर्निंग में वैरिएशनल ऑटोएन्कोडर के लिए किया जाता है।
विविधताएँ और विस्तार
विशिष्ट चुनौतियों को संबोधित करने के लिए क्रॉस-एंट्रॉपी की कई विविधताएँ मौजूद हैं। कैटेगोरिकल क्रॉस-एंट्रॉपी बहु-वर्ग वर्गीकरण को संभालती है, जबकि बाइनरी क्रॉस-एंट्रॉपी का उपयोग बाइनरी वर्गीकरण कार्यों के लिए किया जाता है। भारित क्रॉस-एंट्रॉपी असंतुलित डेटासेट को संभालने के लिए विभिन्न वर्गों को अलग-अलग भार प्रदान करती है। फोकल लॉस, क्रॉस-एंट्रॉपी का एक संशोधन, आसान उदाहरणों को कम भार देकर कठिन उदाहरणों पर ध्यान केंद्रित करता है, जिससे वस्तु पहचान में प्रदर्शन में सुधार होता है। ज्ञान आसवन में, क्रॉस-एंट्रॉपी का एक नरम संस्करण (तापमान स्केलिंग का उपयोग करके) एक बड़े शिक्षक मॉडल से छोटे छात्र मॉडल में ज्ञान स्थानांतरित करता है।
अन्य अवधारणाओं से संबंध
क्रॉस-एंट्रॉपी सूचना सिद्धांत से गहराई से जुड़ी है, जहाँ यह वितरण \(p\) से घटनाओं को एन्कोड करने के लिए आवश्यक बिट्स की औसत संख्या का प्रतिनिधित्व करती है, जब \(q\) के लिए अनुकूलित कोड का उपयोग किया जाता है। मशीन लर्निंग में, इसे अक्सर सॉफ्टमैक्स सक्रियण फ़ंक्शन के साथ जोड़ा जाता है, जो कच्चे लॉगिट्स को संभावनाओं में परिवर्तित करता है। सॉफ्टमैक्स और क्रॉस-एंट्रॉपी का संयोजन संख्यात्मक रूप से स्थिर और कुशल है, क्योंकि ग्रेडिएंट अनुमानित संभावना और वास्तविक लेबल के बीच अंतर तक सरल हो जाता है। यह गुण इसे अधिकांश आधुनिक तंत्रिका नेटवर्क फ्रेमवर्क में पसंदीदा विकल्प बनाता है।
ऐतिहासिक संदर्भ
क्रॉस-एंट्रॉपी की अवधारणा 1940 के दशक में सूचना सिद्धांत पर क्लॉड शैनन के काम से उत्पन्न हुई। इसे बाद में सांख्यिकीय यांत्रिकी और फिर मशीन लर्निंग में अपनाया गया। 1980 और 1990 के दशक में तंत्रिका नेटवर्क के उदय के साथ, विशेष रूप से बैकप्रोपेगेशन एल्गोरिदम के माध्यम से, क्रॉस-एंट्रॉपी का लॉस फ़ंक्शन के रूप में उपयोग प्रमुख हो गया। आज, यह सुपरवाइज्ड लर्निंग की आधारशिला है, जो टेंसरफ्लो और पायटॉर्च जैसे सभी प्रमुख डीप लर्निंग लाइब्रेरीज़ में लागू है।
यह भी देखें
- लॉस फ़ंक्शन
- सॉफ्टमैक्स
- तंत्रिका नेटवर्क
- वर्गीकरण
- सूचना सिद्धांत
- डीप लर्निंग
- मशीन लर्निंग
- कुलबैक-लीब्लर विचलन
- फोकल लॉस
- ज्ञान आसवन
- बैकप्रोपेगेशन
- टेंसरफ्लो
- पायटॉर्च