क्रॉस-एंट्रॉपी सूचना सिद्धांत और मशीन लर्निंग में एक मौलिक अवधारणा है, जो वर्गीकरण समस्याओं के लिए लॉस फ़ंक्शन के रूप में कार्य करती है। यह दो प्रायिकता वितरणों के बीच असमानता को मापता है: वास्तविक वितरण (अक्सर ग्राउंड ट्रुथ लेबल) और अनुमानित वितरण (मॉडल का आउटपुट)। तंत्रिका नेटवर्क के संदर्भ में, क्रॉस-एंट्रॉपी का व्यापक रूप से छवि वर्गीकरण, प्राकृतिक भाषा प्रसंस्करण और वाक् पहचान जैसे कार्यों के लिए मॉडल को प्रशिक्षित करने में उपयोग किया जाता है।
परिभाषा
घटनाओं के एक असतत समुच्चय पर दो प्रायिकता वितरणों \(p\) (वास्तविक) और \(q\) (अनुमानित) के लिए, क्रॉस-एंट्रॉपी को इस प्रकार परिभाषित किया गया है:
\[ H(p, q) = -\sum_{x} p(x) \log q(x) \]
वर्गीकरण में, \(p\) आमतौर पर एक वन-हॉट एन्कोडेड वेक्टर होता है जहाँ वास्तविक वर्ग की प्रायिकता 1 होती है और अन्य की 0 होती है, और \(q\) मॉडल का आउटपुट प्रायिकताएँ होती हैं (जैसे, सॉफ्टमैक्स परत से)। क्रॉस-एंट्रॉपी तब वास्तविक वर्ग की ऋणात्मक लॉग-लाइक्लिहुड के रूप में सरल हो जाती है, जिसे अक्सर इस प्रकार लिखा जाता है:
\[ L = -\log q(y_{\text{true}}) \]
जहाँ \(y_{\text{true}}\) सही वर्ग सूचकांक है।
मशीन लर्निंग में भूमिका
क्रॉस-एंट्रॉपी बहु-वर्ग वर्गीकरण के लिए मानक लॉस फ़ंक्शन है। यह उच्च आत्मविश्वास के साथ गलत भविष्यवाणियों को दंडित करता है, जिससे मॉडल को सही वर्ग को उच्च प्रायिकता निर्धारित करने के लिए प्रोत्साहित किया जाता है। माध्य वर्ग त्रुटि के विपरीत, क्रॉस-एंट्रॉपी सॉफ्टमैक्स आउटपुट के साथ अच्छी तरह से काम करती है क्योंकि यह गलत भविष्यवाणियों के समय मजबूत ग्रेडिएंट प्रदान करती है, जिससे तेज़ अभिसरण होता है। यह कुलबैक-लाइब्लर विचलन से निकटता से संबंधित है, जो दो वितरणों के बीच सापेक्ष एंट्रॉपी को मापता है; जब वास्तविक वितरण स्थिर होता है, तो क्रॉस-एंट्रॉपी को न्यूनतम करना केएल विचलन को न्यूनतम करने के बराबर होता है।
अनुप्रयोग
क्रॉस-एंट्रॉपी का उपयोग विभिन्न मशीन लर्निंग क्षेत्रों में किया जाता है। डीप लर्निंग में, यह वर्गीकरण नेटवर्क के लिए डिफ़ॉल्ट लॉस है, जिसमें छवि पहचान के लिए कन्वोल्यूशनल न्यूरल नेटवर्क (सीएनएन) और अनुक्रम कार्यों के लिए आवर्ती नेटवर्क शामिल हैं। प्राकृतिक भाषा प्रसंस्करण में, इसका उपयोग भाषा मॉडलिंग में किया जाता है, जहाँ मॉडल अनुक्रम में अगले टोकन की भविष्यवाणी करता है, और बड़े भाषा मॉडल में उपयोग किए जाने वाले ट्रांसफॉर्मर-आधारित आर्किटेक्चर में। इसके अतिरिक्त, क्रॉस-एंट्रॉपी का उपयोग सुदृढीकरण लर्निंग में पॉलिसी ग्रेडिएंट विधियों के लिए और अनसुपरवाइज़्ड लर्निंग में वैरिएशनल ऑटोएन्कोडर के लिए किया जाता है।
विविधताएँ और विस्तार
विशिष्ट चुनौतियों को संबोधित करने के लिए क्रॉस-एंट्रॉपी की कई विविधताएँ मौजूद हैं। कैटेगोरिकल क्रॉस-एंट्रॉपी बहु-वर्ग वर्गीकरण को संभालती है, जबकि बाइनरी क्रॉस-एंट्रॉपी का उपयोग बाइनरी वर्गीकरण कार्यों के लिए किया जाता है। भारित क्रॉस-एंट्रॉपी असंतुलित डेटासेट को संभालने के लिए विभिन्न वर्गों को अलग-अलग भार निर्धारित करती है। फोकल लॉस, क्रॉस-एंट्रॉपी का एक संशोधन, आसान उदाहरणों को कम भार देकर कठिन उदाहरणों पर ध्यान केंद्रित करता है, जिससे ऑब्जेक्ट डिटेक्शन में प्रदर्शन में सुधार होता है। ज्ञान आसवन में, क्रॉस-एंट्रॉपी का एक नरम संस्करण (तापमान स्केलिंग का उपयोग करके) एक बड़े शिक्षक मॉडल से छोटे छात्र मॉडल में ज्ञान स्थानांतरित करता है।
अन्य अवधारणाओं से संबंध
क्रॉस-एंट्रॉपी सूचना सिद्धांत से गहराई से जुड़ी है, जहाँ यह वितरण \(p\) से घटनाओं को एन्कोड करने के लिए आवश्यक बिट्स की औसत संख्या को दर्शाती है, जब \(q\) के लिए अनुकूलित कोड का उपयोग किया जाता है। मशीन लर्निंग में, इसे अक्सर सॉफ्टमैक्स सक्रियण फ़ंक्शन के साथ जोड़ा जाता है, जो कच्चे लॉगिट्स को प्रायिकताओं में परिवर्तित करता है। सॉफ्टमैक्स और क्रॉस-एंट्रॉपी का संयोजन संख्यात्मक रूप से स्थिर और कुशल है, क्योंकि ग्रेडिएंट अनुमानित प्रायिकता और वास्तविक लेबल के बीच के अंतर के रूप में सरल हो जाता है। यह गुण इसे अधिकांश आधुनिक तंत्रिका नेटवर्क फ्रेमवर्क में पसंदीदा विकल्प बनाता है।
ऐतिहासिक संदर्भ
क्रॉस-एंट्रॉपी की अवधारणा 1940 के दशक में क्लॉड शैनन के सूचना सिद्धांत पर काम से उत्पन्न हुई। इसे बाद में सांख्यिकीय यांत्रिकी में और फिर मशीन लर्निंग में अपनाया गया। लॉस फ़ंक्शन के रूप में क्रॉस-एंट्रॉपी का उपयोग 1980 और 1990 के दशक में तंत्रिका नेटवर्क के उदय के साथ प्रमुख हो गया, विशेष रूप से बैकप्रोपेगेशन एल्गोरिदम के माध्यम से। आज, यह सुपरवाइज़्ड लर्निंग की आधारशिला है, जो टेंसरफ्लो और पायटॉर्च जैसी सभी प्रमुख डीप लर्निंग लाइब्रेरीज़ में लागू है।
यह भी देखें
- लॉस फ़ंक्शन
- सॉफ्टमैक्स
- तंत्रिका नेटवर्क
- वर्गीकरण
- सूचना सिद्धांत
- डीप लर्निंग
- मशीन लर्निंग
- कुलबैक-लाइब्लर विचलन
- फोकल लॉस
- ज्ञान आसवन
- बैकप्रोपेगेशन
- टेंसरफ्लो
- पायटॉर्च