हाई बैंडविड्थ मेमोरी (HBM) एक कंप्यूटर मेमोरी इंटरफेस है जो 3D-स्टैक्ड सिंक्रोनस डायनेमिक रैंडम-एक्सेस मेमोरी (SDRAM) के लिए है, जिसे शुरू में सैमसंग, AMD और SK हाइनिक्स द्वारा विकसित किया गया था। इसका उपयोग अक्सर प्रदर्शन-उन्मुख ग्राफिक्स एक्सेलेरेटर, नेटवर्क डिवाइस, FPGA और ASIC के साथ संयोजन में किया जाता है; कुछ CPU HBM का उपयोग ऑन-पैकेज कैश या RAM के रूप में करते हैं, जैसे NEC SX-Aurora TSUBASA और फुजित्सु A64FX। पहली HBM मेमोरी चिप 2013 में SK हाइनिक्स द्वारा निर्मित की गई थी, और HBM के साथ भेजे गए पहले डिवाइस 2015 में AMD फिजी GPU थे।
HBM को अक्टूबर 2013 में JEDEC द्वारा एक उद्योग मानक के रूप में अपनाया गया था। दूसरी पीढ़ी, HBM2, को जनवरी 2016 में JEDEC द्वारा स्वीकार किया गया था। JEDEC ने आधिकारिक तौर पर 27 जनवरी 2022 को HBM3 मानक और अप्रैल 2025 में HBM4 मानक की घोषणा की। 2025 में, दुनिया के सबसे बड़े HBM निर्माताओं में SK हाइनिक्स, सैमसंग इलेक्ट्रॉनिक्स और माइक्रोन टेक्नोलॉजी शामिल हैं। TSMC HBM के लिए बेस डाई का उत्पादन करता है और 2026 में कई HBM कंपनियों के लिए फाउंड्री होने की योजना है।
प्रौद्योगिकी
HBM DDR4 या GDDR5 की तुलना में अधिक बैंडविड्थ प्राप्त करता है, जबकि कम बिजली का उपयोग करता है, और काफी छोटे फॉर्म फैक्टर में। यह 32 DRAM डाई और एक वैकल्पिक बेस डाई को स्टैक करके प्राप्त किया जाता है जिसमें बफर सर्किटरी और परीक्षण लॉजिक शामिल हो सकते हैं। स्टैक अक्सर GPU या CPU पर मेमोरी कंट्रोलर से एक सब्सट्रेट, जैसे सिलिकॉन इंटरपोज़र, के माध्यम से जुड़ा होता है। वैकल्पिक रूप से, मेमोरी डाई को सीधे CPU या GPU चिप पर स्टैक किया जा सकता है। स्टैक के भीतर, डाई थ्रू-सिलिकॉन वियास (TSV) और माइक्रोबम्प्स द्वारा लंबवत रूप से जुड़े होते हैं। HBM तकनीक सिद्धांत रूप में माइक्रोन टेक्नोलॉजी द्वारा विकसित हाइब्रिड मेमोरी क्यूब (HMC) इंटरफेस के समान है, लेकिन इसके साथ असंगत है।
HBM मेमोरी बस अन्य DRAM मेमोरी जैसे DDR4 या GDDR5 की तुलना में बहुत चौड़ी है। चार DRAM डाई (4-Hi) का एक HBM1 स्टैक प्रति डाई दो 128-बिट चैनल होता है, जिसमें कुल 8 चैनल और कुल 1024 बिट की चौड़ाई होती है। चार 4-Hi HBM स्टैक वाला एक ग्राफिक्स कार्ड या GPU इसलिए 4096 बिट की चौड़ाई वाली मेमोरी बस रखेगा। तुलना में, GDDR मेमोरी की बस चौड़ाई 32 बिट है, जिसमें 512-बिट मेमोरी इंटरफेस वाले ग्राफिक्स कार्ड के लिए 16 चैनल हैं। HBM1 प्रति पैकेज 4 GB तक का समर्थन करता था।
DDR4 या GDDR5 की तुलना में मेमोरी के लिए बड़ी संख्या में कनेक्शन, HBM मेमोरी को GPU या अन्य प्रोसेसर से जोड़ने के लिए एक नई विधि की आवश्यकता थी। AMD और Nvidia दोनों ने मेमोरी और GPU डाई को जोड़ने के लिए इंटरपोज़र नामक उद्देश्य-निर्मित अर्धचालक उपकरणों का उपयोग किया है। इस इंटरपोज़र का अतिरिक्त लाभ यह है कि मेमोरी और प्रोसेसर को शारीरिक रूप से करीब होना आवश्यक है, जिससे मेमोरी पथ कम हो जाते हैं। हालांकि, चूंकि अर्धचालक उपकरण निर्माण मुद्रित सर्किट बोर्ड निर्माण की तुलना में काफी अधिक महंगा है, यह अंतिम उत्पाद में लागत जोड़ता है।
इंटरफेस
HBM DRAM एक वितरित इंटरफेस के साथ होस्ट प्रोसेसर डाई से कसकर युग्मित होता है। इंटरफेस स्वतंत्र चैनलों में विभाजित है। चैनल एक दूसरे से पूरी तरह से स्वतंत्र हैं और जरूरी नहीं कि एक दूसरे के साथ सिंक्रोनस हों। HBM DRAM उच्च गति, कम-शक्ति संचालन प्राप्त करने के लिए एक चौड़े-इंटरफेस आर्किटेक्चर का उपयोग करता है। HBM1 DRAM ने 500 MHz डिफरेंशियल क्लॉक CK_t / CK_c का उपयोग किया (जहां सफ़िक्स "_t" डिफरेंशियल पेयर के "ट्रू" या "पॉज़िटिव" घटक को दर्शाता है, और "_c" "कॉम्प्लिमेंट्री" के लिए खड़ा है)। कमांड CK_t और CK_c के बढ़ते किनारों पर पंजीकृत होते हैं। प्रत्येक चैनल इंटरफेस ने इस डबल डेटा रेट (DDR) पर संचालित 128-बिट डेटा बस बनाए रखा। HBM1 ने प्रति पिन 1 GT/s की स्थानांतरण दरों का समर्थन किया (1 बिट स्थानांतरित करना), जिससे कुल पैकेज बैंडविड्थ 128 GB/s प्राप्त हुआ।
HBM2
हाई बैंडविड्थ मेमोरी की दूसरी पीढ़ी, HBM2, प्रति स्टैक आठ डाई तक निर्दिष्ट की गई थी और पिन स्थानांतरण दरों को 2 GT/s तक दोगुना कर दिया। 1024-बिट चौड़ी एक्सेस बनाए रखते हुए, HBM2 प्रति पैकेज 256 GB/s मेमोरी बैंडविड्थ तक पहुंचने में सक्षम था। HBM2 विनिर्देश ने प्रति पैकेज 8 GB तक की अनुमति दी। HBM2 को प्रदर्शन-संवेदनशील उपभोक्ता अनुप्रयोगों जैसे वर्चुअल रियलिटी के लिए विशेष रूप से उपयोगी होने की भविष्यवाणी की गई थी।
19 जनवरी 2016 को, सैमसंग ने HBM2 के शुरुआती बड़े पैमाने पर उत्पादन की घोषणा की, प्रति स्टैक 8 GB तक। SK हाइनिक्स ने अगस्त 2016 में 4 GB स्टैक की उपलब्धता की भी घोषणा की।
HBM2E
2018 के अंत में, JEDEC ने HBM2 विनिर्देश में एक अद्यतन की घोषणा की, जिसमें बढ़ी हुई बैंडविड्थ और क्षमताएं प्रदान की गईं। आधिकारिक विनिर्देश में तब प्रति स्टैक 307 GB/s (2.5 Tbit/s प्रभावी डेटा दर) तक समर्थित था, हालांकि इस गति पर संचालित उत्पाद पहले से ही उपलब्ध थे। इसके अतिरिक्त, अद्यतन ने 12-Hi स्टैक (12 डाई) के लिए समर्थन जोड़ा, जिससे प्रति स्टैक 24 GB तक की क्षमताएं संभव हो गईं।
20 मार्च 2019 को, सैमसंग ने अपने फ्लैशबोल्ट HBM2E की घोषणा की, जिसमें प्रति स्टैक आठ डाई, 3.2 GT/s की स्थानांतरण दर, कुल 16 GB और प्रति स्टैक 410 GB/s प्रदान किया गया। 12 अगस्त 2019 को, SK हाइनिक्स ने अपने HBM2E की घोषणा की, जिसमें प्रति स्टैक आठ डाई, 3.6 GT/s की स्थानांतरण दर, कुल 16 GB और प्रति स्टैक 460 GB/s प्रदान किया गया। 2 जुलाई 2020 को, SK हाइनिक्स ने घोषणा की कि बड़े पैमाने पर उत्पादन शुरू हो गया है। अक्टूबर 2019 में, सैमसंग ने अपने 12-परत वाले HBM2E की घोषणा की।
HBM3
2020 के अंत में, माइक्रोन ने खुलासा किया कि HBM2E मानक को अद्यतन किया जाएगा और साथ ही उन्होंने तब के अगले मानक का अनावरण किया जिसे HBMnext (बाद में HBM3 नाम दिया गया) के रूप में जाना जाता है। यह HBM2 से एक बड़ी पीढ़ीगत छलांग और HBM2E का प्रतिस्थापन होना था। यह नया VRAM 2022 की चौथी तिमाही में बाजार में आने वाला था। यह संभवतः एक नया आर्किटेक्चर पेश करता, जैसा कि नाम से पता चलता है।
जबकि आर्किटेक्चर को ओवरहाल किया गया हो सकता है, लीक ने अद्यतन HBM2E मानक के समान प्रदर्शन की ओर इशारा किया। यह RAM संभवतः ज्यादातर डेटा सेंटर GPU में उपयोग की जाने वाली थी। 2021 के मध्य में, SK हाइनिक्स ने HBM3 मानक के कुछ विनिर्देशों का अनावरण किया, जिसमें 5.2 Gbit/s I/O गति और प्रति पैकेज 665 GB/s की बैंडविड्थ, साथ ही 16-हाई 2.5D और 3D समाधान शामिल थे।
20 अक्टूबर 2021 को, HBM3 के लिए JEDEC मानक अंतिम रूप दिए जाने से पहले, SK हाइनिक्स पहला मेमोरी विक्रेता था जिसने घोषणा की कि उसने HBM3 मेमोरी उपकरणों का विकास पूरा कर लिया है। SK हाइनिक्स के अनुसार, मेमोरी 6.4 Gbit/s/pin जितनी तेज चलती, जो JEDEC-मानक HBM2E की डेटा दर का दोगुना है, जो औपचारिक रूप से 3.2 Gbit/s/pin पर समाप्त होती है, या SK हाइनिक्स के अपने 3.6 Gbit/s/pin HBM2E से 78% तेज है। उपकरणों ने 6.4 Gbit/s की डेटा स्थानांतरण दर का समर्थन किया और इसलिए एक एकल HBM3 स्टैक 819 GB/s तक की बैंडविड्थ प्रदान कर सकता था। HBM3 के लिए बुनियादी बस चौड़ाई अपरिवर्तित रही, एक स्टैक मेमोरी 1024-बिट चौड़ी थी। SK हाइनिक्स इस मेमोरी को दो क्षमताओं में पेश करेगा: 16 GB और 24 GB, जो 8-Hi और 12-Hi स्टैक के साथ संरेखित है।
AI और बाजार पर प्रभाव
HBM की मांग में अभूतपूर्व वृद्धि हुई है, और सामान्य रूप से DRAM (DDR4, DDR, और फ्लैश मेमोरी/NAND) की कीमत 2026 की शुरुआत में "शुरुआती 2025 से चक्रवृद्धि वृद्धि का अनुभव किया है, कुछ 200% से अधिक ... [क्योंकि] AI क्षेत्र से अभूतपूर्व मांग ... HBM कमोडिटी DRAM क्षमता को बाहर कर रहा है। माइक्रोन ने HBM और DDR5 वेफर क्षमता के बीच 3-से-1 रूपांतरण अनुपात नोट किया, जिसका अर्थ है कि हर HBM रैंप सीधे सामान्य-उद्देश्य मेमोरी आपूर्ति को संकुचित करता है।"
यह मांग Artificial intelligence और Machine learning कार्यभार के तेजी से विकास से प्रेरित है, विशेष रूप से Large language model प्रशिक्षण और अनुमान, जिन्हें विशाल मेमोरी बैंडविड्थ की आवश्यकता होती है। HBM Deep learning कार्यों के लिए उपयोग किए जाने वाले AMD और NVIDIA GPU में एक प्रमुख घटक है, साथ ही Cerebras, Groq, और SambaNova जैसी कंपनियों के विशेष एक्सेलेरेटर में भी। यह तकनीक AWS Trainium और Google Cloud और Microsoft Azure जैसे प्रदाताओं के अन्य क्लाउड-आधारित AI हार्डवेयर में भी उपयोग की जाती है। जैसे-जैसे Generative AI अनुप्रयोगों का विस्तार होता है, उच्च-बैंडविड्थ मेमोरी की आवश्यकता बढ़ती जा रही है, जो Samsung Electronics, sk-hynix, और micron-technology जैसे प्रमुख अर्धचालक निर्माताओं की रणनीतियों को प्रभावित करती है।