1.58-बिट लार्ज लैंग्वेज मॉडल (जिसे टर्नरी एलएलएम भी कहा जाता है) एक प्रकार का लार्ज लैंग्वेज मॉडल है जिसे कम्प्यूटेशनल दक्षता के लिए डिज़ाइन किया गया है। पारंपरिक मॉडलों के विपरीत, जो वज़न को 16-बिट फ्लोटिंग-पॉइंट संख्याओं (जैसे FP16 या BF16) के रूप में संग्रहीत करते हैं, एक 1.58-बिट मॉडल प्रत्येक वज़न को तीन मानों में से एक तक सीमित करता है: −1, 0, या +1। यह टर्नरी प्रतिनिधित्व मेमोरी फुटप्रिंट को लगभग एक क्रम के परिमाण से कम कर देता है और महंगे गुणन संचालन को सरल जोड़ों से बदल देता है, जिससे अनुमान और प्रशिक्षण दोनों तेज़ हो जाते हैं। यह नाम सूचना-सैद्धांतिक तथ्य से लिया गया है कि तीन-अवस्था वाला मान लगभग log₂3 ≈ 1.58 बिट जानकारी रखता है। इन मॉडलों को कभी-कभी ढीले ढंग से 1-बिट एलएलएम कहा जाता है, हालांकि यह शब्द केवल −1 और +1 वज़न वाले वास्तविक बाइनरी मॉडल को भी संदर्भित कर सकता है।
शोध ने दिखाया है कि कई अरब पैरामीटर तक के मॉडलों के लिए, 1.58-बिट एलएलएम विभिन्न कार्यों पर अपने पूर्ण-परिशुद्धता समकक्षों के बराबर प्रदर्शन प्राप्त करते हैं। यह दक्षता शक्तिशाली एआई को कम विशेषीकृत, कम-शक्ति वाले हार्डवेयर पर चलाने की अनुमति दे सकती है, जो एज और मोबाइल अनुप्रयोगों में ऊर्जा मांगों को संबोधित करती है। इस दृष्टिकोण ने शैक्षणिक और औद्योगिक शोधकर्ताओं दोनों का ध्यान आकर्षित किया है, जिसमें माइक्रोसॉफ्ट एक प्रमुख योगदानकर्ता है।
बिटनेट और नेटिव प्रशिक्षण
2024 में, माइक्रोसॉफ्ट के शोधकर्ताओं की एक टीम, जिसका नेतृत्व शुमिंग मा और फुरु वेई ने किया, ने बिटनेट b1.58 पेश किया, जो एक 1.58-बिट एलएलएम है जिसने समान पैमाने पर 16-बिट लामा-2 मॉडल के बराबर प्रदर्शन प्रदर्शित किया। मुख्य नवाचार प्रशिक्षण के बाद क्वांटीकरण नहीं था, बल्कि एक नया बिटलीनियर ट्रांसफॉर्म था जिसने ट्रांसफॉर्मर आर्किटेक्चर में मानक nn.Linear परत को बदल दिया। इसने मॉडल को टर्नरी परिशुद्धता में मूल रूप से प्रशिक्षित करने की अनुमति दी, जिससे पूर्व-प्रशिक्षित मॉडल को क्वांटीकृत करने से जुड़ी सटीकता हानि से बचा जा सका। "द एरा ऑफ 1-बिट एलएलएम" शीर्षक वाले पेपर ने तर्क दिया कि ऐसे मॉडल कुशल एआई के एक नए युग की शुरुआत कर सकते हैं।
2025 में, माइक्रोसॉफ्ट शोधकर्ताओं ने बिटनेट b1.58 2B4T नामक एक ओपन-वेट और ओपन-इन्फ्रेंस-कोड मॉडल जारी किया, जिसमें 4 ट्रिलियन टोकन पर प्रशिक्षित 2 अरब पैरामीटर हैं। इस मॉडल ने समान आकार के पूर्ण-परिशुद्धता मॉडलों के साथ प्रतिस्पर्धी प्रदर्शन दिखाया, जिससे दृष्टिकोण को और मान्यता मिली। रिलीज़ में कुशल अनुमान के लिए कोड शामिल था, जिससे यह व्यापक समुदाय के लिए सुलभ हो गया।
प्रशिक्षण-पश्चात क्वांटीकरण और फाइन-ट्यूनिंग
जबकि बिटनेट को 1.58-बिट परिशुद्धता में मूल रूप से प्रशिक्षित किया जाता है, कई मौजूदा मॉडल पूर्ण परिशुद्धता में प्रशिक्षित होते हैं, और लागत बचाने के लिए उन्हें बाद में परिवर्तित करना वांछनीय है। 2024 में, हगिंग फेस ट्रांसफॉर्मर्स के शोधकर्ताओं ने एक मौजूदा मॉडल के फाइन-ट्यूनिंग के दौरान 1.58-बिट क्वांटीकरण को धीरे-धीरे बढ़ाने की एक विधि की सूचना दी, जो अंततः टर्नरी वज़न तक पहुँचती है। यह दृष्टिकोण चिकित्सकों को शुरू से शुरू किए बिना पूर्व-प्रशिक्षित मॉडल को कम-बिट परिशुद्धता के लिए अनुकूलित करने की अनुमति देता है, हालांकि इसके लिए अभी भी एक फाइन-ट्यूनिंग चरण की आवश्यकता होती है।
प्रदर्शन और स्केलिंग नियम
अनुभवजन्य अध्ययनों से संकेत मिलता है कि कई अरब पैरामीटर तक के मॉडलों के लिए, 1.58-बिट एलएलएम भाषा मॉडलिंग और डाउनस्ट्रीम कार्यों जैसे बेंचमार्क पर पूर्ण-परिशुद्धता मॉडलों के बराबर प्रदर्शन करते हैं। हालाँकि, तस्वीर सूक्ष्म है। स्केलिंग नियमों पर शोध से पता चलता है कि कम-बिट क्वांटीकरण अप्रशिक्षित मॉडलों के लिए सबसे अनुकूल है, यानी जो कम टोकन पर प्रशिक्षित होते हैं। जैसे-जैसे प्रशिक्षण टोकन की संख्या बढ़ती है, कम-बिट परिशुद्धता की सीमाएँ अधिक स्पष्ट होती जाती हैं, जिससे प्रदर्शन में बड़े अंतर आ सकते हैं। इसका भविष्य के मॉडलों के डिज़ाइन पर प्रभाव पड़ता है, क्योंकि प्रशिक्षण डेटा की मात्रा बढ़ती रहती है।
हार्डवेयर और ऊर्जा दक्षता
1.58-बिट एलएलएम का प्राथमिक उद्देश्य बड़े मॉडलों को चलाने की कम्प्यूटेशनल और ऊर्जा लागत को कम करना है। गुणन को समाप्त करके, ये मॉडल सीपीयू और कम-शक्ति वाले एज डिवाइसों पर चल सकते हैं, जिससे संभावित रूप से ऑन-डिवाइस एआई अनुप्रयोग सक्षम हो सकते हैं। कम मेमोरी फुटप्रिंट भी बड़े मॉडलों को सीमित मेमोरी में फिट होने की अनुमति देता है, जो मोबाइल और एम्बेडेड सिस्टम के लिए महत्वपूर्ण है। ieee-spectrum और अन्य आउटलेट्स की रिपोर्टों ने एआई की ऊर्जा मांगों को संबोधित करने की क्षमता पर प्रकाश डाला है, हालांकि व्यावहारिक तैनाती टर्नरी संचालन के लिए हार्डवेयर समर्थन पर निर्भर करती है।
आलोचना और सीमाएँ
कुछ शोधकर्ताओं ने बताया है कि 1.58-बिट क्वांटीकरण के लाभ अनिश्चित काल तक नहीं बढ़ सकते हैं। जैसे-जैसे प्रशिक्षण टोकन की संख्या बढ़ती है, कम-बिट वज़न की कमियाँ सतह पर आती हैं, जिससे पूर्ण-परिशुद्धता मॉडलों के सापेक्ष प्रदर्शन में गिरावट आती है। यह विशेष रूप से विशाल डेटासेट पर प्रशिक्षित बहुत बड़े मॉडलों के लिए प्रासंगिक है। इसके अतिरिक्त, टर्नरी प्रतिनिधित्व मॉडल की बारीक जानकारी का प्रतिनिधित्व करने की क्षमता को सीमित कर सकता है, जो उच्च परिशुद्धता की आवश्यकता वाले कार्यों को प्रभावित कर सकता है। परिशुद्धता के लिए स्केलिंग नियमों पर बहस सक्रिय बनी हुई है, जिसमें "स्केलिंग लॉज़ फॉर प्रिसिजन" और "लो-बिट क्वांटीकरण फेवर्स अंडरट्रेंड एलएलएम" जैसे अध्ययन परस्पर विरोधी या पूरक अंतर्दृष्टि प्रदान करते हैं।
भविष्य की दिशाएँ
1.58-बिट एलएलएम पर शोध जारी है, जिसमें प्रशिक्षण तकनीकों में सुधार, बेहतर क्वांटीकरण विधियों के विकास और हार्डवेयर त्वरण की खोज पर ध्यान केंद्रित किया गया है। माइक्रोसॉफ्ट द्वारा बिटनेट मॉडलों की ओपन रिलीज़ ने समुदाय में प्रयोग को बढ़ावा दिया है। 2025 तक, यह दृष्टिकोण लार्ज लैंग्वेज मॉडलों को अधिक सुलभ और टिकाऊ बनाने के लिए एक आशाजनक मार्ग के रूप में देखा जाता है, हालांकि यह अभी तक पूर्ण-परिशुद्धता मॉडलों का सार्वभौमिक विकल्प नहीं है। भविष्य का कार्य स्केलिंग सीमाओं को संबोधित कर सकता है और टर्नरी मॉडलों को और भी बड़े पैरामीटर संख्याओं तक विस्तारित कर सकता है।
यह भी देखें
संदर्भ
- मा, शुमिंग; एट अल. (2024)। "द एरा ऑफ 1-बिट एलएलएम: ऑल लार्ज लैंग्वेज मॉडल्स आर इन 1.58 बिट्स।" arXiv:2402.17764.
- मा, शुमिंग; एट अल. (2025)। "बिटनेट b1.58 2B4T तकनीकी रिपोर्ट।" arXiv:2504.12285.
- वांग, होंग्यू; एट अल. (2023)। "बिटनेट: स्केलिंग 1-बिट ट्रांसफॉर्मर्स फॉर लार्ज लैंग्वेज मॉडल्स।" arXiv:2310.11453.
- कुमार, तनीष; एट अल. (2024)। "स्केलिंग लॉज़ फॉर प्रिसिजन।" arXiv:2411.04330.
- ओयांग, ज़ू; एट अल. (2024)। "लो-बिट क्वांटीकरण फेवर्स अंडरट्रेंड एलएलएम।" arXiv:2411.17691.
- हटसन, मैथ्यू (2024)। "1-बिट एलएलएम सोल्व एआईज़ एनर्जी डिमांड्स।" आईईईई स्पेक्ट्रम।
- मोरालेस, जोवी (2025)। "माइक्रोसॉफ्ट रिसर्चर्स बिल्ड 1-बिट एआई एलएलएम विद 2बी पैरामीटर्स।" टॉम्स हार्डवेयर।