कुबेफ्लो एक ओपन-सोर्स प्लेटफ़ॉर्म है जिसे कुबेरनेट्स पर मशीन लर्निंग और MLOps के लिए डिज़ाइन किया गया है, जिसे शुरू में Google द्वारा पेश किया गया था। यह सॉफ़्टवेयर घटकों का एक संग्रह प्रदान करता है जो एक विशिष्ट मशीन लर्निंग जीवनचक्र के विभिन्न चरणों के अनुरूप होते हैं, जिसमें मॉडल विकास, प्रशिक्षण, सर्विंग और स्वचालित मशीन लर्निंग शामिल हैं। प्रत्येक घटक को अलग से तैनात किया जा सकता है, जिससे उपयोगकर्ता पूरे प्लेटफ़ॉर्म के बजाय केवल उन हिस्सों को अपना सकते हैं जिनकी उन्हें आवश्यकता है।
प्लेटफ़ॉर्म का उद्देश्य ऑर्केस्ट्रेशन, स्केलिंग और इंफ्रास्ट्रक्चर प्रबंधन के लिए कुबेरनेट्स का लाभ उठाकर मशीन लर्निंग सिस्टम की तैनाती और प्रबंधन को सरल बनाना है। यह कई लोकप्रिय फ्रेमवर्क और टूल का समर्थन करता है, जो इसे अनुसंधान और उत्पादन दोनों वातावरणों के लिए एक लचीला विकल्प बनाता है।
इतिहास
कुबेफ्लो परियोजना की घोषणा पहली बार KubeCon + CloudNativeCon North America 2017 में Google इंजीनियरों डेविड एरोनचिक, जेरेमी लेवी और विष्णु कन्नन द्वारा की गई थी। इस पहल ने उत्पादन-तैयार मशीन लर्निंग सिस्टम बनाने के लिए लचीले विकल्पों की कथित कमी को संबोधित किया। यह परियोजना Google के लिए आंतरिक रूप से TensorFlow चलाने के तरीके को ओपन-सोर्स करने के एक तरीके के रूप में भी शुरू हुई।
पहला रिलीज़, कुबेफ्लो 0.1, KubeCon + CloudNativeCon Europe 2018 में घोषित किया गया था। कुबेफ्लो 1.0 मार्च 2020 में आया, जिसमें एक सार्वजनिक ब्लॉग पोस्ट ने घोषणा की कि कई घटक "स्थिर स्थिति" तक पहुँच गए हैं, जो उत्पादन उपयोग के लिए तत्परता का संकेत देता है। अक्टूबर 2022 में, Google ने घोषणा की कि कुबेफ्लो ने क्लाउड नेटिव कंप्यूटिंग फाउंडेशन (CNCF) में शामिल होने के लिए आवेदन किया है। फाउंडेशन ने जुलाई 2023 में कुबेफ्लो को एक इनक्यूबेटिंग स्टेज प्रोजेक्ट के रूप में स्वीकार करने के लिए मतदान किया।
घटक
मॉडल विकास के लिए कुबेफ्लो नोटबुक
मशीन लर्निंग मॉडल कुबेफ्लो नोटबुक घटक में विकसित किए जाते हैं। यह घटक कुबेरनेट्स क्लस्टर के अंदर वेब-आधारित विकास वातावरण चलाता है, जिसमें Jupyter Notebook, Visual Studio Code और RStudio के लिए मूल समर्थन है। यह डेटा वैज्ञानिकों को परिचित इंटरफेस में काम करने की अनुमति देता है जबकि क्लस्टर संसाधनों से लाभ उठाता है।
मॉडल प्रशिक्षण के लिए कुबेफ्लो पाइपलाइन
विकसित होने के बाद, मॉडल को कुबेफ्लो पाइपलाइन घटक का उपयोग करके प्रशिक्षित किया जाता है। यह प्लेटफ़ॉर्म Docker कंटेनरों पर आधारित पोर्टेबल, स्केलेबल मशीन लर्निंग वर्कफ़्लो बनाता और तैनात करता है। Google Cloud Platform ने अपने Vertex AI पाइपलाइन उत्पाद के भीतर कुबेफ्लो पाइपलाइन DSL को अपनाया है, जो क्लाउड वातावरण में इसकी उपयोगिता को प्रदर्शित करता है।
मॉडल प्रशिक्षण के लिए कुबेफ्लो प्रशिक्षण ऑपरेटर
कुछ मशीन लर्निंग मॉडल और लाइब्रेरी के लिए, कुबेफ्लो प्रशिक्षण ऑपरेटर कुबेरनेट्स कस्टम संसाधन प्रदान करता है। यह TensorFlow, PyTorch, Apache MXNet, XGBoost और MPI के लिए कुबेरनेट्स पर वितरित या गैर-वितरित प्रशिक्षण कार्य चलाता है। यह घटक जटिल प्रशिक्षण कार्यों के ऑर्केस्ट्रेशन को सरल बनाता है।
मॉडल सर्विंग के लिए KServe
KServe, जिसे पहले KFServing नाम दिया गया था, TensorFlow, XGBoost, scikit-learn, PyTorch और ONNX सहित फ्रेमवर्क पर मशीन लर्निंग मॉडल सर्व करने के लिए कुबेरनेट्स कस्टम संसाधन प्रदान करता है। इसे Google, IBM, Bloomberg, NVIDIA और Seldon द्वारा सहयोगात्मक रूप से विकसित किया गया था। सार्वजनिक रूप से खुलासा किए गए अपनाने वालों में Bloomberg, Gojek और विकिमीडिया फाउंडेशन शामिल हैं।
स्वचालित मशीन लर्निंग के लिए कटिब
कटिब मशीन लर्निंग मॉडल के स्वचालित प्रशिक्षण और विकास के लिए एक कुबेरनेट्स-नेटिव परियोजना है। इसमें हाइपरपैरामीटर ट्यूनिंग, प्रारंभिक रोक और तंत्रिका आर्किटेक्चर खोज शामिल है, जो मॉडल प्रदर्शन के स्वचालित अनुकूलन को सक्षम बनाता है।
रिलीज़ समयरेखा
कुबेफ्लो अपनी स्थापना के बाद से कई रिलीज़ों के माध्यम से विकसित हुआ है। 2018 में प्रारंभिक 0.1 रिलीज़ ने आधार तैयार किया, और 2020 में 1.0 रिलीज़ ने उत्पादन तत्परता के लिए एक मील का पत्थर चिह्नित किया। बाद के संस्करणों ने घटकों को परिष्कृत करना और सुविधाएँ जोड़ना जारी रखा है, जिसमें परियोजना ने 2023 में CNCF इनक्यूबेशन स्थिति प्राप्त की।
अपनाना और पारिस्थितिकी तंत्र
कुबेफ्लो का उपयोग विभिन्न उद्योगों में मशीन लर्निंग वर्कफ़्लो के लिए किया जाता है। कुबेरनेट्स के साथ इसका एकीकरण इसे कंटेनर ऑर्केस्ट्रेशन का उपयोग करने वाले संगठनों के लिए आकर्षक बनाता है। प्लेटफ़ॉर्म का मॉड्यूलर डिज़ाइन टीमों को इसे मशीन लर्निंग पारिस्थितिकी तंत्र में अन्य टूल के साथ संयोजित करने की अनुमति देता है, जैसे कि डीप लर्निंग फ्रेमवर्क और कृत्रिम बुद्धिमत्ता सेवाएँ।