bitsandbytes एक ओपन-सोर्स Python लाइब्रेरी है जो Machine learning मॉडलों को ग्राफिक्स प्रोसेसिंग यूनिट (GPU) पर कम संख्यात्मक परिशुद्धता के साथ क्वांटाइज़ करने और चलाने के लिए हल्के रैपर प्रदान करती है। यह Deep learning कार्यभार के लिए कुशल मेमोरी उपयोग और तेज़ गणना को सक्षम बनाती है, विशेष रूप से Large language model प्रशिक्षण, फाइन-ट्यूनिंग और अनुमान के लिए। यह लाइब्रेरी Artificial intelligence पारिस्थितिकी तंत्र में व्यापक रूप से अपनाई जाती है, और अक्सर Hugging Face Transformers और PyTorch जैसे लोकप्रिय फ्रेमवर्क के साथ एकीकृत होती है।
यह परियोजना 8-बिट ऑप्टिमाइज़र और क्वांटाइज़ेशन तकनीकों पर शोध से उत्पन्न हुई, जिसे पहली बार 2021 में टिम डेटमर्स द्वारा जारी किया गया था, जो उस समय वाशिंगटन विश्वविद्यालय में एक शोधकर्ता थे। यह उपभोक्ता हार्डवेयर पर बड़े मॉडल चलाने के लिए एक व्यावहारिक उपकरण के रूप में प्रमुखता से उभरा, जो वज़न और सक्रियताओं को कम परिशुद्धता प्रारूपों, जैसे 8-बिट पूर्णांक (int8) और 4-बिट फ्लोटिंग-पॉइंट (nf4) में प्रस्तुत करके GPU मेमोरी आवश्यकताओं को कम करता है।
मुख्य कार्यक्षमता
bitsandbytes कई प्रमुख घटक प्रदान करता है। इसके 8-बिट ऑप्टिमाइज़र, जिनमें Adam और SGD वेरिएंट शामिल हैं, प्रशिक्षण के दौरान ऑप्टिमाइज़र स्टेट मेमोरी को कम करते हैं। लाइब्रेरी क्वांटाइज़ेशन फ़ंक्शन भी प्रदान करती है जो मॉडल वज़न को 32-बिट फ्लोटिंग-पॉइंट (fp32) से 8-बिट या 4-बिट प्रारूपों में परिवर्तित करती है, गणना के लिए डीक्वांटाइज़ेशन के साथ। एक उल्लेखनीय विशेषता LLM.int8() विधि है, जो मिश्रित-परिशुद्धता अपघटन का उपयोग करके Transformer (architecture)-आधारित आर्किटेक्चर जैसे बड़े मॉडलों के अनुमान को न्यूनतम प्रदर्शन हानि के साथ सक्षम बनाती है: आउटलायर विशेषताओं को fp16 में संसाधित किया जाता है जबकि अधिकांश मैट्रिक्स गुणन int8 का उपयोग करते हैं।
4-बिट क्वांटाइज़ेशन के लिए, bitsandbytes NormalFloat (NF4) डेटा प्रकार लागू करता है, जो सामान्य रूप से वितरित वज़न के लिए डिज़ाइन किया गया है, और QLoRA (क्वांटाइज़्ड लो-रैंक एडेप्टेशन) का समर्थन करता है, जो एक एकल GPU पर बड़े मॉडलों को फाइन-ट्यून करने की तकनीक है। QLoRA 4-बिट बेस मॉडल क्वांटाइज़ेशन को लो-रैंक एडेप्टर के साथ जोड़ता है, जिससे कुशल पैरामीटर-कुशल फाइन-ट्यूनिंग संभव होती है।
एकीकरण और उपयोग
लाइब्रेरी PyTorch के साथ सहज रूप से एकीकृत होती है, जिसमें न्यूनतम कोड परिवर्तन की आवश्यकता होती है। उपयोगकर्ता transformers लाइब्रेरी के माध्यम से load_in_8bit=True या load_in_4bit=True पास करके मॉडल को 8-बिट या 4-बिट परिशुद्धता में लोड कर सकते हैं। यह CPU ऑफलोडिंग का भी समर्थन करता है, जिससे GPU मेमोरी से बड़े मॉडल सिस्टम RAM में परतों को स्थानांतरित करके चल सकते हैं। bitsandbytes कंप्यूट क्षमता 7.5 या उच्चतर वाले NVIDIA GPU (जैसे Turing, Ampere, Ada Lovelace आर्किटेक्चर) के साथ संगत है।
2024 तक, लाइब्रेरी हाल के AMD GPU सहित ROCm के माध्यम से कई हार्डवेयर का समर्थन करती है, और प्रायोगिक बिल्ड में Metal Performance Shaders के माध्यम से Apple सिलिकॉन पर परीक्षण किया गया है। यह क्लाउड वातावरण जैसे Amazon Web Services, Microsoft Azure, और Google Cloud में भी उपयोग की जाती है, जहां GPU इंस्टेंस आम हैं।
मॉडल परिनियोजन पर प्रभाव
bitsandbytes ने बड़े मॉडल चलाने की बाधा को कम किया है। उदाहरण के लिए, एक 70-बिलियन-पैरामीटर मॉडल जिसे fp16 में 140 GB से अधिक मेमोरी की आवश्यकता होगी, उसे 4-बिट परिशुद्धता में लगभग 35 GB का उपयोग करके लोड किया जा सकता है, जो NVIDIA A100 या RTX 4090 जैसे एकल उच्च-अंत GPU पर फिट बैठता है। यह क्षमता शोधकर्ताओं और शौकीनों को बड़े क्लस्टर तक पहुंच के बिना अत्याधुनिक मॉडलों के साथ प्रयोग करने में सक्षम बनाती है।
लाइब्रेरी ओपन-सोर्स AI समुदाय की आधारशिला है, जिसमें GitHub पर हजारों परियोजनाएं इस पर निर्भर हैं। इसे कई शैक्षणिक पत्रों में उद्धृत किया गया है, जिसमें QLoRA पेपर (2023) शामिल है, जिसने एक 65-बिलियन-पैरामीटर मॉडल को एक 48 GB GPU पर फाइन-ट्यून करने का प्रदर्शन किया।
विकास और समुदाय
bitsandbytes को योगदानकर्ताओं की एक छोटी टीम द्वारा बनाए रखा जाता है, जिसमें टिम डेटमर्स प्राथमिक लेखक हैं। इसे MIT लाइसेंस के तहत जारी किया गया है, जो मुफ्त व्यावसायिक और शैक्षणिक उपयोग की अनुमति देता है। परियोजना का विकास समुदाय के योगदान द्वारा समर्थित है, और इसे नए GPU आर्किटेक्चर और क्वांटाइज़ेशन विधियों का समर्थन करने के लिए अक्सर अद्यतन किया जाता है। 2025 तक, लाइब्रेरी के पास GitHub पर 10,000 से अधिक स्टार हैं और यह कई Generative AI पाइपलाइनों में एक मानक उपकरण है।
सीमाएं और विचार
जबकि क्वांटाइज़ेशन मेमोरी को कम करता है, यह थोड़ी सटीकता हानि पेश कर सकता है, विशेष रूप से बहुत बड़े मॉडल या उच्च संख्यात्मक परिशुद्धता की आवश्यकता वाले कार्यों के लिए। लाइब्रेरी का प्रदर्शन GPU समर्थन पर निर्भर करता है; टेंसर कोर समर्थन के बिना पुराने GPU धीमी गति देख सकते हैं। इसके अतिरिक्त, कुछ ऑपरेशन, जैसे कुछ ध्यान तंत्र, क्वांटाइज़्ड मोड में पूरी तरह से अनुकूलित नहीं हो सकते हैं, जिससे उच्च परिशुद्धता के लिए फॉलबैक की आवश्यकता होती है।
इन सीमाओं के बावजूद, bitsandbytes कुशल AI के लिए एक महत्वपूर्ण बुनियादी ढांचा बना हुआ है, जो प्रूनिंग और डिस्टिलेशन जैसी अन्य अनुकूलन तकनीकों का पूरक है। इसका निरंतर विकास Neural network मॉडलों को अधिक सुलभ और टिकाऊ बनाने की व्यापक प्रवृत्ति को दर्शाता है।