हानि फलन, जिन्हें लागत फलन या उद्देश्य फलन के रूप में भी जाना जाता है, गणितीय सूत्रीकरण हैं जो किसी मॉडल के अनुमानित आउटपुट और वास्तविक लक्ष्य मान के बीच विसंगति को मापते हैं। Machine learning में, ये फलन एक अदिश त्रुटि मान उत्पन्न करते हैं जो यह मात्रात्मक रूप से बताता है कि कोई मॉडल किसी दिए गए डेटा बिंदु या बैच पर कितना अच्छा प्रदर्शन करता है। प्रशिक्षण के दौरान अनुकूलन प्रक्रिया इस हानि को कम करने के लिए मॉडल मापदंडों को पुनरावृत्त रूप से समायोजित करती है, जिससे हानि फलन का चयन एक महत्वपूर्ण डिज़ाइन निर्णय बन जाता है जो सीधे सीखने की गतिशीलता और अंतिम मॉडल व्यवहार को प्रभावित करता है।
हानि फलनों की अवधारणा आधुनिक Deep learning से पहले की है, जिसकी जड़ें शास्त्रीय सांख्यिकी और अनुकूलन सिद्धांत में हैं। रैखिक प्रतिगमन में प्रारंभिक कार्य ने वर्ग त्रुटि हानि का उपयोग किया, जबकि लॉजिस्टिक प्रतिगमन ने क्रॉस-एन्ट्रॉपी जैसे उद्देश्यों की शुरुआत की। सीखने के एल्गोरिदम के केंद्रीय घटकों के रूप में हानि फलनों का औपचारिककरण 1980 और 1990 के दशक में बैकप्रोपेगेशन के माध्यम से Neural network प्रशिक्षण के विकास के साथ प्रमुखता से उभरा, जिसमें Bernard Widrow जैसे शोधकर्ताओं ने अनुकूली सिग्नल प्रोसेसिंग और त्रुटि न्यूनीकरण तकनीकों में योगदान दिया।
प्रतिगमन हानियाँ
सतत लक्ष्य भविष्यवाणी कार्यों के लिए, माध्य वर्ग त्रुटि (MSE) सबसे व्यापक रूप से उपयोग किए जाने वाले हानि फलनों में से एक है। MSE भविष्यवाणियों और वास्तविक मानों के बीच वर्ग अंतरों का औसत गणना करता है, बड़ी त्रुटियों को असमान रूप से दंडित करता है। इसकी गणितीय सरलता और विभेदनीयता इसे कई प्रतिगमन समस्याओं के लिए एक डिफ़ॉल्ट विकल्प बनाती है, हालांकि आउटलायर्स के प्रति इसकी संवेदनशीलता शोर वाले डेटासेट में समस्याग्रस्त हो सकती है।
माध्य निरपेक्ष त्रुटि (MAE) एक विकल्प प्रदान करता है जो सभी त्रुटियों को रैखिक रूप से मानता है, आउटलायर्स के प्रति मजबूती प्रदान करता है लेकिन शून्य पर एक गैर-चिकनी ग्रेडिएंट होता है। ह्यूबर हानि MSE और MAE दोनों के गुणों को जोड़ती है, छोटी त्रुटियों के लिए द्विघात रूप से और बड़ी त्रुटियों के लिए रैखिक रूप से व्यवहार करती है, जो एक डेल्टा पैरामीटर द्वारा नियंत्रित होती है। यह हाइब्रिड दृष्टिकोण अक्सर मजबूत प्रतिगमन परिदृश्यों में पसंद किया जाता है।
वर्गीकरण हानियाँ
क्रॉस-एन्ट्रॉपी हानि, जिसे लॉग हानि भी कहा जाता है, वर्गीकरण कार्यों के लिए मानक उद्देश्य है। बाइनरी वर्गीकरण के लिए, यह अनुमानित संभाव्यता वितरण और वास्तविक लेबल के बीच विचलन को मापता है। फलन आत्मविश्वासपूर्ण गलत भविष्यवाणियों को भारी रूप से दंडित करता है, मॉडल को अच्छी तरह से कैलिब्रेटेड संभावनाओं को आउटपुट करने के लिए प्रोत्साहित करता है। बहु-वर्ग सेटिंग्स में, श्रेणीबद्ध क्रॉस-एन्ट्रॉपी इसे कई श्रेणियों तक विस्तारित करती है, जिसे अक्सर अंतिम परत में सॉफ्टमैक्स सक्रियण के साथ जोड़ा जाता है।
हिंज हानि, जो सपोर्ट वेक्टर मशीनों के लिए विकसित की गई है, एक मार्जिन-आधारित विकल्प प्रदान करती है जो निर्णय सीमा दूरी को अधिकतम करने पर केंद्रित है। क्रॉस-एन्ट्रॉपी के विपरीत, हिंज हानि को संभाव्य आउटपुट की आवश्यकता नहीं होती है और यह अच्छी तरह से वर्गीकृत उदाहरणों के प्रति कम संवेदनशील होती है, जिससे यह कुछ सेटिंग्स में कम्प्यूटेशनल रूप से कुशल बन जाती है। स्क्वेर्ड हिंज हानि जैसे वेरिएंट चिकनी अनुकूलन के लिए दंड संरचना को संशोधित करते हैं।
कंट्रास्टिव और रैंकिंग हानियाँ
कंट्रास्टिव हानि फलन समानता सीखने से जुड़े कार्यों के लिए डिज़ाइन किए गए हैं, जैसे चेहरे की पहचान या Chess computer स्थिति मूल्यांकन। ये हानियाँ नमूनों के जोड़े या त्रिक पर काम करती हैं, समान वस्तुओं को एक साथ खींचती हैं जबकि असमान वस्तुओं को अलग धकेलती हैं। ट्रिपलेट हानि, जो चेहरे की पहचान अनुसंधान में लोकप्रिय है, एक एंकर, एक सकारात्मक नमूना और एक नकारात्मक नमूना का उपयोग करती है, एम्बेडिंग स्थान में सापेक्ष दूरी को अनुकूलित करती है।
रैंकिंग हानियाँ इस अवधारणा को क्रमबद्ध सूचियों तक विस्तारित करती हैं, जो आमतौर पर सूचना पुनर्प्राप्ति और अनुशंसा प्रणालियों में उपयोग की जाती हैं। जोड़ीवार रैंकिंग हानि सकारात्मक और नकारात्मक वस्तुओं के सापेक्ष क्रम की तुलना करती है, जबकि LambdaRank जैसे सूचीवार दृष्टिकोण पूरी रैंकिंग सूचियों को अनुकूलित करते हैं। ये फलन विशेष रूप से Amazon Web Services उत्पाद खोज और अन्य बड़े पैमाने पर पुनर्प्राप्ति प्रणालियों में प्रासंगिक हैं।
कस्टम और कार्य-विशिष्ट हानियाँ
कई डोमेन में विशिष्ट उद्देश्यों के अनुरूप विशेष हानि फलनों की आवश्यकता होती है। Generative AI में, जनरेटिव एडवर्सेरियल नेटवर्क से विरोधी हानियाँ एक जनरेटर को एक डिस्क्रिमिनेटर के खिलाफ खड़ा करती हैं, जिससे एक मिनिमैक्स अनुकूलन समस्या बनती है। अवधारणात्मक हानियाँ, जो छवि निर्माण के लिए पेश की गई हैं, कच्चे पिक्सेल के बजाय पूर्व-प्रशिक्षित नेटवर्क से उच्च-स्तरीय फीचर प्रतिनिधित्व की तुलना करती हैं, जिससे अधिक दृष्टिगत रूप से आकर्षक परिणाम मिलते हैं।
Large language model प्रशिक्षण के लिए, अगले-टोकन भविष्यवाणी आमतौर पर शब्दावली वितरण पर क्रॉस-एन्ट्रॉपी हानि का उपयोग करती है। हालांकि, मानव प्रतिक्रिया से सुदृढीकरण सीखना प्राथमिकता-आधारित हानियाँ पेश करता है जो मॉडल आउटपुट को मानव निर्णयों के साथ संरेखित करती हैं। OpenAI और Anthropic जैसी कंपनियाँ उपयोगिता और सुरक्षा के लिए मॉडलों को ठीक करने के लिए इन उद्देश्यों के वेरिएंट का उपयोग करती हैं।
हानि फलन गुण और चयन
हानि फलनों के सैद्धांतिक गुण उनकी व्यावहारिक प्रभावशीलता को प्रभावित करते हैं। उत्तलता अनुकूलन में वैश्विक इष्टतमता सुनिश्चित करती है, हालांकि आधुनिक गहरे नेटवर्क गैर-उत्तल परिदृश्यों में काम करते हैं। ग्रेडिएंट-आधारित विधियों के लिए विभेदनीयता आवश्यक है, जिसमें हिंज हानि जैसे गैर-चिकनी कार्यों को संभालने के लिए सबग्रेडिएंट दृष्टिकोण शामिल हैं। स्थिरता गुण इस बात से संबंधित हैं कि क्या एक सरोगेट हानि को कम करने से वर्गीकरण में इष्टतम बेयस त्रुटि प्राप्त होती है।
हानि फलन चयन कार्य विशेषताओं, डेटा वितरण और मॉडल आर्किटेक्चर पर निर्भर करता है। असंतुलित डेटासेट के लिए, भारित वेरिएंट या फोकल हानि, जो आसान उदाहरणों को कम महत्व देती है, प्रदर्शन में सुधार कर सकती है। बहु-कार्य सीखने में, संयुक्त हानियों को प्रतिस्पर्धी उद्देश्यों को संतुलित करने के लिए सावधानीपूर्वक वेटिंग की आवश्यकता होती है। चिकित्सक अक्सर कई हानि फलनों के साथ प्रयोग करते हैं, क्योंकि चयन अभिसरण गति और अंतिम सटीकता को महत्वपूर्ण रूप से प्रभावित कर सकता है।
अनुकूलन और हानि परिदृश्य
हानि फलनों और अनुकूलन एल्गोरिदम के बीच परस्पर क्रिया हानि परिदृश्य को आकार देती है। Michael I. Jordan और सहयोगियों ने अध्ययन किया है कि विभिन्न हानियाँ ग्रेडिएंट गतिशीलता और सामान्यीकरण को कैसे प्रभावित करती हैं। हानि फलन की वक्रता सीखने की दर चयन और Adam जैसे अनुकूली अनुकूलकों की प्रभावशीलता को प्रभावित करती है। फ्लैट मिनिमा, जो अक्सर बेहतर सामान्यीकरण से जुड़े होते हैं, को तीक्ष्णता-जागरूक न्यूनीकरण जैसे हानि संशोधनों के माध्यम से प्रोत्साहित किया जा सकता है।
ओवरफिटिंग को रोकने के लिए नियमितीकरण शर्तों को अक्सर हानि फलनों में जोड़ा जाता है। L1 और L2 नियमितीकरण बड़े वजन को दंडित करते हैं, जबकि ड्रॉपआउट एक स्टोकेस्टिक नियमितकर्ता के रूप में कार्य करता है। ये जोड़ प्रभावी हानि परिदृश्य को संशोधित करते हैं, प्रशिक्षण त्रुटि को मॉडल जटिलता के खिलाफ संतुलित करते हैं।
हाल के विकास
आधुनिक शोध हानि फलनों की खोज करता है जो अनिश्चितता को शामिल करते हैं, जैसे कि हेटेरोसेडैस्टिक प्रतिगमन हानियाँ जो साधनों के साथ विचरण की भविष्यवाणी करती हैं। Transformer (architecture) आर्किटेक्चर में, हानि फलनों को अनुक्रम-से-अनुक्रम कार्यों के लिए अनुकूलित किया गया है, जिसमें अति आत्मविश्वास को रोकने के लिए लेबल स्मूथिंग शामिल है। Google DeepMind और अन्य शोध प्रयोगशालाओं ने स्व-पर्यवेक्षित सीखने के लिए कंट्रास्टिव हानियों की जांच की है, जिससे मॉडल स्पष्ट लेबल के बिना प्रतिनिधित्व सीख सकते हैं।
हानि फलन डिज़ाइन अध्ययन का एक सक्रिय क्षेत्र बना हुआ है, जिसमें सैद्धांतिक कार्य हानि विकल्पों को सामान्यीकरण सीमाओं से जोड़ते हैं और उद्योग अनुप्रयोगों से व्यावहारिक नवाचार उभरते हैं। गैर-विभेदनीय उद्देश्यों के लिए विभेदनीय अनुमानों का विकास, जैसे कि तंत्रिका आर्किटेक्चर खोज में, डिज़ाइन स्थान का विस्तार करना जारी रखता है। जैसे-जैसे Artificial intelligence प्रणालियाँ अधिक जटिल होती जाती हैं, मॉडल व्यवहार और क्षमताओं को आकार देने में हानि फलनों की भूमिका अनुसंधान और तैनाती दोनों में तेजी से केंद्रीय होती जाती है।