DL Boost एक मार्केटिंग नाम है जिसका उपयोग इंटेल द्वारा x86-64 प्लेटफॉर्म पर निर्देश सेट आर्किटेक्चर (ISA) सुविधाओं के एक सेट के लिए किया जाता है, जिसे डीप लर्निंग कार्यों जैसे प्रशिक्षण और अनुमान में प्रदर्शन सुधारने के लिए डिज़ाइन किया गया है। ये सुविधाएँ कैस्केड लेक आर्किटेक्चर के साथ पेश की गई थीं, जो स्काइलेक-एसपी सर्वर प्रोसेसर की श्रृंखला के बाद आई। DL Boost कृत्रिम बुद्धिमत्ता अनुप्रयोगों में सामान्य कार्यभार को लक्षित करता है, जिसमें कन्वोल्यूशनल न्यूरल नेटवर्क और ट्रांसफॉर्मर-आधारित मॉडल शामिल हैं, विशिष्ट गणितीय संचालन के लिए हार्डवेयर-स्तरीय त्वरण प्रदान करके।
यह पहल चिप निर्माताओं के बीच मशीन लर्निंग कार्यभार के लिए विशेष निर्देश जोड़ने की व्यापक प्रवृत्ति को दर्शाती है, जो सामान्य-उद्देश्य कंप्यूटिंग क्षमताओं का पूरक है। इंटेल ने DL Boost को मानक x86 सर्वरों पर AI अनुमान और प्रशिक्षण की लागत और विलंबता को कम करने के तरीके के रूप में स्थापित किया, बिना GPU जैसे समर्पित त्वरक की आवश्यकता के।
निर्देश सेट सुविधाएँ
DL Boost में निर्देशों के दो प्राथमिक सेट शामिल हैं। पहला सेट, AVX-512 VNNI (वेक्टर न्यूरल नेटवर्क निर्देश), जिसे 4VNNIW या AVX-VNNI के रूप में भी जाना जाता है, मुख्य रूप से न्यूरल नेटवर्क को लक्षित करने वाले तेज़ गुणा-संचय संचालन प्रदान करता है जो कन्वोल्यूशन पर निर्भर करते हैं, जैसे छवि पहचान मॉडल। ये निर्देश 512-बिट वैक्टर पर काम करते हैं, जिससे प्रति क्लॉक चक्र कई संचालन संभव होते हैं।
दूसरा सेट, AVX-512 BF16, bfloat16 फ्लोटिंग-पॉइंट प्रारूप के लिए समर्थन पेश करता है, जो एक 16-बिट प्रतिनिधित्व है जो मानक float32 की घातांक सीमा को बनाए रखता है लेकिन कम मंटिसा परिशुद्धता के साथ। यह प्रारूप कम-परिशुद्धता गणना के लिए डिज़ाइन किया गया है, जो स्वीकार्य मॉडल सटीकता बनाए रखते हुए प्रशिक्षण और अनुमान को तेज कर सकता है। निर्देशों में float32 और bfloat16 के बीच रूपांतरण, साथ ही डॉट-उत्पाद संचालन शामिल हैं जो कई मानों को कुशलता से जोड़ते हैं।
दोनों सुविधा सेट कैस्केड लेक प्रोसेसर और बाद की पीढ़ियों पर उपलब्ध हैं, जिनमें आइस लेक और बाद के सर्वर और क्लाइंट उत्पाद शामिल हैं। निर्देश मानक कंपाइलर और रनटाइम समर्थन के माध्यम से सॉफ्टवेयर के लिए उजागर होते हैं, जिससे TensorFlow और PyTorch जैसे फ्रेमवर्क उन्हें स्वचालित रूप से उपयोग कर सकते हैं।
प्रदर्शन और बेंचमार्किंग
Google Cloud Platform कंप्यूट इंजन पर चलाए गए TensorFlow पर आधारित एक बेंचमार्क ने प्रदर्शित किया कि DL Boost इन निर्देशों के बिना पिछले इंटेल CPUs की तुलना में प्रदर्शन में सुधार और लागत में कमी ला सकता है। बेंचमार्क ने छोटे बैच आकारों के लिए विशेष लाभ दिखाए, जो वास्तविक समय के अनुमान परिदृश्यों में सामान्य हैं जहाँ विलंबता थ्रूपुट से अधिक मायने रखती है।
GPUs की तुलना में, बेंचमार्क ने संकेत दिया कि DL Boost से सुसज्जित CPUs कुछ कार्यभार के लिए प्रतिस्पर्धी या बेहतर लागत दक्षता प्रदान कर सकते हैं, विशेष रूप से जब मॉडल छोटा हो या बैच आकार सीमित हो। ऐसा इसलिए है क्योंकि CPUs अलग-अलग मेमोरी स्पेस के बीच डेटा स्थानांतरित करने के ओवरहेड से बचते हैं, जो असतत GPUs का उपयोग करते समय आवश्यक है। परिणाम एंड्रेस रोड्रिग्स और सहकर्मियों द्वारा इंटेल व्हाइट पेपर में प्रकाशित किए गए थे, जिसका शीर्षक था "लोअर न्यूमेरिकल प्रिसिजन डीप लर्निंग इन्फ्रेंस एंड ट्रेनिंग।"
सॉफ्टवेयर पारिस्थितिकी तंत्र और अपनाना
DL Boost के लिए समर्थन प्रमुख डीप लर्निंग फ्रेमवर्क और कंपाइलर टूलचेन में एकीकृत किया गया था। इंटेल का अपना OpenVINO टूलकिट और oneAPI डीप न्यूरल नेटवर्क लाइब्रेरी (oneDNN) निर्देशों के लिए अनुकूलित पथ प्रदान करते हैं। TensorFlow और PyTorch सहित तृतीय-पक्ष फ्रेमवर्क ने AVX-512 VNNI और BF16 के लिए बैकएंड समर्थन जोड़ा, जिससे डेवलपर्स अपने मॉडल को संशोधित किए बिना लाभ उठा सकते हैं।
bfloat16 प्रारूप, मूल रूप से Google Brain द्वारा विकसित, उद्योग में व्यापक रूप से अपनाया गया, अन्य हार्डवेयर विक्रेताओं ने भी इसे लागू किया। DL Boost में इंटेल का BF16 शामिल करना x86 प्लेटफार्मों के लिए प्रारूप को मानकीकृत करने में मदद करता है, जिससे प्रशिक्षण और अनुमान प्रणालियों के बीच अंतरसंचालनीयता सुगम होती है।
अन्य त्वरक के साथ तुलना
DL Boost समर्पित AI त्वरक जैसे AWS Trainium, Groq के टेंसर स्ट्रीमिंग प्रोसेसर, और Graphcore के IPUs के साथ प्रतिस्पर्धा करता है। इन विशेष चिप्स के विपरीत, DL Boost सामान्य-उद्देश्य CPU के भीतर संचालित होता है, अतिरिक्त हार्डवेयर या जटिल सिस्टम एकीकरण की आवश्यकता से बचता है। यह मौजूदा डेटा केंद्रों के लिए आकर्षक बनाता है जो पहले से x86 सर्वर चलाते हैं।
हालाँकि, बड़े भाषा मॉडल के बड़े पैमाने पर प्रशिक्षण के लिए, समर्पित त्वरक आमतौर पर उच्च कच्चे थ्रूपुट और मेमोरी बैंडविड्थ प्रदान करते हैं। DL Boost का उपयोग अधिक सामान्यतः अनुमान और छोटे प्रशिक्षण कार्यों के लिए किया जाता है जहाँ CPU का लचीलापन फायदेमंद होता है। परिशुद्धता और गति के बीच का समझौता bfloat16 प्रारूप के माध्यम से प्रबंधित किया जाता है, जो कई मामलों में मॉडल गुणवत्ता को संरक्षित करते हुए मेमोरी उपयोग और गणना समय को कम करता है।
भविष्य की दिशाएँ
इंटेल ने बाद की प्रोसेसर पीढ़ियों में DL Boost को विकसित करना जारी रखा, अधिक उन्नत निर्देश जोड़े और उभरते AI कार्यभार के लिए समर्थन में सुधार किया। कंपनी ने DL Boost को अपने Xeon स्केलेबल प्रोसेसर के साथ भी एकीकृत किया, जो क्लाउड वातावरण में व्यापक रूप से तैनात हैं। जैसे-जैसे AI मॉडल जटिलता में बढ़ते हैं, CPU-आधारित त्वरण की भूमिका महत्वपूर्ण बनी रहती है, विशेष रूप से एज कंप्यूटिंग और वास्तविक समय अनुप्रयोगों के लिए जहाँ बिजली दक्षता और कम विलंबता महत्वपूर्ण हैं।
यह दृष्टिकोण अन्य x86 विक्रेताओं, जैसे AMD के समान निर्देश एक्सटेंशन के प्रयासों को दर्शाता है, और विषम कंप्यूटिंग की ओर व्यापक उद्योग आंदोलन को प्रतिबिंबित करता है। DL Boost AI हार्डवेयर बाजार में प्रासंगिकता बनाए रखने की इंटेल की रणनीति का हिस्सा है, जो तेजी से NVIDIA और Qualcomm जैसी कंपनियों के विशेष त्वरक द्वारा हावी हो रहा है।