बायेसियन ऑप्टिमाइज़ेशन एक अनुक्रमिक मॉडल-आधारित रणनीति है जो ब्लैक-बॉक्स उद्देश्य फलनों के वैश्विक अनुकूलन के लिए है, जिनके मूल्यांकन महंगे होते हैं। इसका उपयोग आमतौर पर तब किया जाता है जब एक अवलोकन के लिए प्रयोग, इंजीनियरिंग गणना, संख्यात्मक सिमुलेशन, या मशीन-लर्निंग रन की आवश्यकता होती है, और जब व्युत्पन्न अनुपलब्ध या अविश्वसनीय होते हैं। उद्देश्य का बंद-रूप व्यंजक होना आवश्यक नहीं है, और यह विधि अज्ञात फलन का एक संभाव्य मॉडल बनाती है ताकि नमूनाकरण प्रक्रिया को निर्देशित किया जा सके जो अन्वेषण और दोहन को संतुलित करती है।
यह विधि मूल्यांकन बिंदुओं का एक अनुक्रम बनाती है, पहले उद्देश्य का एक संभाव्य सरोगेट मॉडल बनाकर, जो अक्सर गाऊसी प्रक्रिया होती है। मॉडल का भविष्य कहनेवाला वितरण प्रत्येक उम्मीदवार बिंदु पर अपेक्षित मान और अनिश्चितता का माप दोनों प्रदान करता है। एक नमूनाकरण मानदंड, जिसे अधिग्रहण फलन भी कहा जाता है, इस भविष्य कहनेवाला वितरण से गणना की जाती है, और अगला बिंदु इस मानदंड को अनुकूलित करके चुना जाता है। चयनित बिंदु का फिर मूल्यांकन किया जाता है, मॉडल को नए अवलोकन के साथ अद्यतन किया जाता है, और प्रक्रिया दोहराई जाती है। यह दृष्टिकोण इसे उन स्थितियों के लिए उपयोगी बनाता है जहाँ प्रत्येक मूल्यांकन महंगा या समय लेने वाला होता है।
इतिहास
वैश्विक अनुकूलन के लिए बायेसियन दृष्टिकोणों पर प्रारंभिक कार्य 1960 और 1970 के दशक में खोजा जा सकता है। हेरोल्ड जे. कुशनर जैसे शोधकर्ताओं ने शोरगुल वाले फलनों के चरम बिंदुओं का पता लगाने के तरीके विकसित किए, और जोनास मॉकस ने शोरगुल वाली स्थितियों में चरम बिंदुओं को खोजने के लिए बायेसियन अनुकूलन में योगदान दिया। 1998 में, डोनाल्ड आर. जोन्स, मथियास शोनलाउ, और विलियम जे. वेल्च ने कुशल वैश्विक अनुकूलन (EGO) एल्गोरिथ्म पेश किया, जिसने क्रिगिंग मॉडल, या गाऊसी प्रक्रिया, को अपेक्षित सुधार मानदंड के साथ जोड़कर महंगे प्रमुख फलनों को अनुकूलित किया। इस मौलिक कार्य ने क्षेत्र को स्थापित करने में मदद की और बायेसियन अनुकूलन को अधिक व्यापक रूप से जाना जाने लगा।
अगले दशकों में, ढांचे को शोरगुल वाले अवलोकनों, बाधाओं, बैच और समानांतर मूल्यांकनों, कई उद्देश्यों, और मिश्रित या उच्च-आयामी स्थानों को संभालने के लिए विस्तारित किया गया। इन विस्तारों ने दृष्टिकोण को व्यावहारिक समस्याओं की एक व्यापक श्रेणी पर लागू करने की अनुमति दी, लेकिन अक्सर बढ़ी हुई एल्गोरिथ्मिक जटिलता की कीमत पर।
समस्या सेटिंग
एक मानक एकल-उद्देश्य समस्या में, बायेसियन अनुकूलन एक बिंदु खोजता है जो खोज स्थान पर उद्देश्य फलन f(x) को न्यूनतम करता है। व्यापकता की हानि के बिना, एक अधिकतमीकरण समस्या को -f(x) को न्यूनतम करके पुनर्निर्मित किया जा सकता है। खोज स्थान मुख्य रूप से एक बॉक्स या सतत डोमेन के माध्यम से परिभाषित नहीं है, हालांकि मानक सूत्रीकरण कम से मध्यम जटिलता की सतत समस्याओं पर सबसे सीधे लागू होता है। जैसे-जैसे आयाम बढ़ता है, खोज स्थान विस्तारित होता है और मूल्यांकन बिंदु विरल हो जाते हैं, जिससे समस्या कठिन हो जाती है।
समस्याओं को शोरगुल-रहित के रूप में वर्गीकृत किया जा सकता है, जहाँ मूल्यांकन सटीक फलन मान लौटाता है, या शोरगुल वाला, जहाँ अवलोकनों में कुछ त्रुटि शामिल होती है। वास्तविक दुनिया के अनुप्रयोग अक्सर अतिरिक्त जटिलताएँ जोड़ते हैं, जिनमें अज्ञात बाधाएँ, समानांतर मूल्यांकन, या कई उद्देश्य शामिल हैं। प्रत्येक भिन्नता प्रभावित करती है कि सरोगेट मॉडल और नमूनाकरण मानदंड कैसे परिभाषित किए जाते हैं।
मूल विधि
बायेसियन अनुकूलन के अधिकांश कार्यान्वयन मानक अनुक्रमिक प्रक्रिया का पालन करते हैं। एक विशिष्ट रन एक प्रारंभिक डिज़ाइन से शुरू होता है, उदाहरण के लिए, एक स्थान-भरने वाला लैटिन हाइपरक्यूब या यादृच्छिक नमूनाकरण, ताकि अवलोकनों का एक प्रारंभिक सेट प्राप्त किया जा सके। एल्गोरिथ्म फिर इन बिंदुओं पर उद्देश्य का मूल्यांकन करता है। एक सरोगेट मॉडल इस डेटा पर फिट किया जाता है, जो भविष्य कहनेवाला प्रवृत्ति और भविष्यवाणियों की अनिश्चितता दोनों को पकड़ता है।
अधिग्रहण फलन, जिसे इन्फिल मानदंड भी कहा जाता है, फिर परिभाषित किया जाता है; सामान्य विकल्पों में अपेक्षित सुधार (EI), ऊपरी विश्वास सीमा (UCB), और सुधार की संभावना शामिल हैं। अगला बिंदु या बिंदुओं का बैच अधिग्रहण फलन को अनुकूलित करके चुना जाता है, जो अन्वेषण (जहाँ मॉडल में उच्च अनिश्चितता है) को दोहन (जहाँ मॉडल अनुकूल मानों की भविष्यवाणी करता है) के साथ संतुलित करता है। मूल्यांकन के बाद, डेटा सेट अद्यतन किया जाता है और प्रक्रिया दोहराई जाती है।
यह लूप तब तक जारी रहता है जब तक कि एक रोक नियम पूरा नहीं होता, कभी-कभी एक निश्चित संख्या में प्रोटोटाइप या एक अभिसरण मानदंड पर आधारित। बायेसियन रणनीति का प्रमुख लाभ इसकी नमूना दक्षता है, जिसका अर्थ है कि यह जितना संभव हो उतने कम फलन मूल्यांकनों के साथ एक अच्छा समाधान खोजने की कोशिश करता है।
संभाव्य मॉडल
संभाव्य मॉडल का विनिर्देशन पद्धति के लिए केंद्रीय है। उद्देश्य का एक प्रतिगमन मॉडल आवश्यक है ताकि खोज स्थान पर भविष्यवाणियाँ और अनिश्चितता अनुमान प्रदान किए जा सकें। सबसे सामान्य विकल्प और वास्तविक मानक गाऊसी प्रक्रिया प्रतिगमन (GPR) है। एक GP पूर्व एक सतत फलन को परिभाषित करता है जहाँ बिंदुओं का कोई भी सेट संयुक्त रूप से गाऊसी होता है, और पश्च की गणना सटीक रूप से की जाती है जब अवलोकन सतत होते हैं। GPR लचीला है और विश्लेषणात्मक अनिश्चितता प्रदान करता है जो अधिकांश अधिग्रहण फलनों को परिभाषित करने के लिए आवश्यक है।
अन्य मॉडल प्रकारों में यादृच्छिक वन, तंत्रिका नेटवर्क, और गहन शिक्षण शामिल हैं, विशेष रूप से जब खोज स्थान उच्च-आयामी होता है या मिश्रित चर शामिल होते हैं। हाल के विकास वैकल्पिक लागत संरचनाओं को संभालने के लिए गहन-शिक्षण प्रॉक्सी या समूहों को भी शामिल करते हैं। मॉडल को सरोगेट मॉडल कहा जाता है क्योंकि यह उम्मीदवार बिंदुओं का चयन करते समय महंगे उद्देश्य फलन के लिए खड़ा होता है। अनिश्चितता अनुमानों की गुणवत्ता, न केवल भविष्यवाणी, सीधे अधिग्रहण फलन के संभावित जोखिम से संबंधित है।
विस्तार और अनुप्रयोग
बायेसियन अनुकूलन मशीन लर्निंग के लिए हाइपरपैरामीटर अनुकूलन में एक मानक उपकरण बन गया है, जहाँ प्रत्येक परीक्षण के लिए एक मॉडल को प्रशिक्षित और मान्य करने की आवश्यकता होती है। ऐसे परीक्षण की लागत मिनटों से लेकर दिनों तक हो सकती है, और हाइपरपैरामीटर की संख्या छोटी हो सकती है, लेकिन यादृच्छिकता के कारण मूल्यांकन शोरगुल वाले होते हैं। शोरगुल वाले मूल्यांकनों के लिए विधियाँ विशेष रूप से इसे संभालने के लिए विकसित की गई हैं।
इंजीनियरिंग डिज़ाइन में, उद्देश्य में अक्सर महंगे संख्यात्मक सिमुलेशन शामिल होते हैं जैसे कि परिमित तत्व विश्लेषण या कम्प्यूटेशनल द्रव गतिकी, जहाँ एक एकल रन घंटों ले सकता है। बायेसियन अनुकूलन का उपयोग डिज़ाइन पैरामीटर खोजने के लिए किया जाता है जो लागत को न्यूनतम करते हैं या बाधाओं का सम्मान करते हुए प्रदर्शन को अधिकतम करते हैं। यह विधि रसायन विज्ञान, भौतिकी, और दवा खोज के लिए प्रयोगात्मक डिज़ाइन में भी अनुप्रयोग रखती है, जहाँ भौतिक परीक्षण महंगे होते हैं।
समानांतर और बैच संस्करणों का उपयोग आधुनिक क्षमताओं का लाभ उठाने के लिए किया जाता है, जैसे कि GPU क्लस्टर और क्लाउड प्रदाता जैसे अमेज़न वेब सर्विसेज़ या गूगल क्लाउड, कई बिंदुओं का मूल्यांकन करके। उच्च-प्रदर्शन कंप्यूटिंग के लिए, एनवीडिया और इंटेल जैसे संगठनों ने उन उपकरणों में निवेश किया है जो इसे व्यापक वर्कफ़्लो में एकीकृत करते हैं। बायेसियन अनुकूलन निरंतर एल्गोरिथ्मिक प्रगति के साथ एक सक्रिय शोध क्षेत्र भी है।
अपनी ताकत के बावजूद, यह बहुत उच्च-आयामी समस्याओं के लिए इसके उपयोग में और जटिल, गैर-स्थिर फलनों पर इसके प्रदर्शन में भी सीमित है। ये सीमाएँ, हालांकि, वर्तमान शोध साहित्य में अज्ञात हैं, और इन सेट-अपों को संभालने के लिए कई विस्तार विकसित किए जा रहे हैं।