ALBERT (A Lite BERT) एक ट्रांसफॉर्मर-आधारित भाषा मॉडल है जिसे 2019 में Google AI के शोधकर्ताओं द्वारा BERT के अधिक मेमोरी-कुशल विकल्प के रूप में पेश किया गया था। यह मॉडल प्राकृतिक भाषा समझ कार्यों पर प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए पैरामीटर संख्या और प्रशिक्षण समय को कम करने पर केंद्रित है। इसका नाम "लाइट" आर्किटेक्चर को दर्शाता है, जो दो प्रमुख नवाचारों का उपयोग करता है: फैक्टराइज्ड एम्बेडिंग पैरामीटराइजेशन और क्रॉस-लेयर पैरामीटर शेयरिंग।
यह मॉडल Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, और Radu Soricuts सहित एक टीम द्वारा विकसित किया गया था, जिसका प्री-प्रिंट अक्टूबर 2019 में जारी किया गया था। ALBERT को BERT की सीमाओं को संबोधित करने के लिए डिज़ाइन किया गया है, जिसे आमतौर पर विशाल मेमोरी और कम्प्यूटेशनल संसाधनों की आवश्यकता होती है, जिससे यह कई शोध और तैनाती सेटिंग्स के लिए अव्यावहारिक हो जाता है।
आर्किटेक्चर और मुख्य नवाचार
ALBERT में प्राथमिक आर्किटेक्चरल परिवर्तन BERT के 108M पैरामीटर एम्बेडिंग को फैक्टराइज्ड एम्बेडिंग मैट्रिक्स से बदलना है। शब्दावली को सीधे छिपे हुए आकार में प्रोजेक्ट करने के बजाय, ALBERT पहले निम्न-आयामी एम्बेडिंग (जैसे, 128 टोकन) और फिर छिपे हुए आकार (जैसे, 768) में प्रोजेक्ट करता है। यह कमी पैरामीटर संख्या को काफी कम कर देती है, विशेष रूप से बड़े छिपे हुए आयामों वाले मॉडलों के लिए।
दूसरा नवाचार क्रॉस-लेयर पैरामीटर शेयरिंग है, जहां ट्रांसफॉर्मर एनकोडर वेट (ध्यान और फीड-फॉरवर्ड परतों सहित) सभी परतों में साझा किए जाते हैं। यह प्रभावी रूप से एक ही पैरामीटर सेट का बार-बार उपयोग करता है, जिससे मेमोरी उपयोग नाटकीय रूप से कम हो जाता है। उदाहरण के लिए, बेस मॉडल में BERT-बेस के 108 मिलियन की तुलना में लगभग 12 मिलियन पैरामीटर हैं, जबकि बड़े वेरिएंट में BERT-लार्ज के 340 मिलियन की तुलना में केवल 18 मिलियन हैं।
ये तकनीकें ALBERT को मेमोरी सीमाओं से अधिक किए बिना गहरे और व्यापक आर्किटेक्चर विकसित करने की अनुमति देती हैं। अध्ययन ने प्रदर्शित किया कि ALBERT बड़े कॉन्फ़िगरेशन (16 मिलियन पैरामीटर तक) प्रशिक्षित कर सकता है जो कई बेंचमार्क पर BERT से मेल खाते हैं या उससे बेहतर प्रदर्शन करते हैं।
प्रशिक्षण और बेंचमार्क
ALBERT को BERT के समान अंग्रेजी विकिपीडिया और BookCorpus पर प्रशिक्षित किया जाता है, जिसमें मास्क्ड लैंग्वेज मॉडलिंग और सेंटेंस ऑर्डर प्रेडिक्शन (SOP) जैसे स्व-पर्यवेक्षित सीखने के उद्देश्यों का उपयोग किया जाता है। BERT के नेक्स्ट-सेंटेंस प्रेडिक्शन (NSP) के बजाय SOP का उत्पादन क्रॉस-सेंटेंस सुसंगतता कार्यों में मदद करता है।
GLUE बेंचमार्क (जनरल लैंग्वेज अंडरस्टैंडिंग इवैल्यूएशन) पर, ALBERT-xxlarge कॉन्फ़िगरेशन, जो लगभग 223 मिलियन पैरामीटर लेकिन केवल लगभग 8 मिलियन अद्वितीय पैरामीटर का उपयोग करता है, ने BERT-लार्ज के करीब या उससे बेहतर स्कोर प्राप्त किए। विशेष रूप से, इसने MNLI, QQP, RTE (82.5% से 85.0% विकास) और SQuAD 2.0 F1 स्कोर जैसे कार्यों में BERT-लार्ज से बेहतर प्रदर्शन किया, जो 91.0 तक पहुंच गया। SQuAD 1.1/2.0 पर, ALBERT-xxlarge ने उस समय क्रमशः 93.1 और 90.0 F1 के साथ अत्याधुनिक परिणाम प्राप्त किए। CoQAd डेटासेट पर, ALBERT ने विकास सेट पर 86.0 स्कोर किया, जो पिछले BERT मॉडलों में सुधार करता है।
दक्षता और गति
जबकि ALBERT की पैरामीटर कमी मेमोरी ओवरहेड को कम करती है, यह हमेशा प्रशिक्षण समय को सीधे कम नहीं करती है क्योंकि साझा पैरामीटर अभी भी समान कम्प्यूटेशनल फॉरवर्ड पास की आवश्यकता रखते हैं। हालांकि, वितरित प्रशिक्षण में कम संचार ओवरहेड और कम मेमोरी फुटप्रिंट बड़े बैच आकार की अनुमति देते हैं। लेखकों ने बताया कि 12-लेयर शेयरिंग वाला ALBERT BERT-लार्ज की तुलना में लगभग 1.7 गुना तेजी से प्रशिक्षित कर सकता है, जिसमें मेमोरी में लगभग 80% की कमी होती है।
प्रदर्शन मूल्यांकन और निष्कर्ष
अध्ययन ने NSP को हटाने के प्रभाव की भी जांच की। आश्चर्यजनक रूप से, NSP को हटाने से कई कार्यों पर परिणामों में सुधार हुआ, जिससे पुष्टि हुई कि NSP डाउनस्ट्रीम भाषा समझ के लिए प्रभावी नहीं था। SOP उद्देश्य, जो भविष्यवाणी करता है कि अगला वाक्य एक ही दस्तावेज़ में है या अलग, स्पष्ट प्रशिक्षण संकेत प्रदान करता है।
शोध ने यह भी नोट किया कि परतों और छिपी इकाइयों की संख्या बढ़ाना हमेशा सुधारों से संबंधित नहीं होता है; उनका 2046-छिपे-आकार का मॉडल 4096 छिपे आकार के मॉडल के समान प्रदर्शन करता है, जो एक स्थानीय इष्टतम का सुझाव देता है। परिणामस्वरूप, ALBERT अपनी संरचना के लिए चौड़ाई पर गहराई का पक्ष लेता है।
विरासत और उपयोग
ALBERT ट्रांसफॉर्मर संपीड़न और लाइट मॉडल डिज़ाइन के क्षेत्र में एक संदर्भ बन गया है। यह टेक्स्ट वर्गीकरण, प्रश्न उत्तर, और वाक्य-जोड़ी कार्यों में फाइन-ट्यूनिंग के लिए एक उपयोगी उपकरण है, विशेष रूप से जब डिस्क या मेमोरी बाधाएं मौजूद हों। ओपन-सोर्स कोड TensorFlow आधिकारिक मॉडल रिपॉजिटरी के माध्यम से उपलब्ध है, और विभिन्न आकारों के प्री-ट्रेंड वेट जारी किए गए हैं। इसने DistilBERT और MobileBERT जैसे बाद के कुशल मॉडलों को प्रभावित किया है, हालांकि विभिन्न रणनीतियों के साथ; ALBERT विशेष रूप से पैरामीटर शेयरिंग के लिए उल्लेखनीय है।
नए आर्किटेक्चर जैसे डिकोडर में ध्यान-आधारित जनरेशन मॉडल (जैसे, GPT) के उदय के बावजूद, ALBERT एनकोडर-केवल कार्यों के लिए एक प्रासंगिक दृष्टिकोण बना हुआ है और दक्षता अध्ययनों में एक बेंचमार्क के रूप में कार्य करता है। इसके काम को प्राकृतिक भाषा प्रसंस्करण समुदाय में व्यापक रूप से उद्धृत किया गया है, विशेष रूप से पैरामीटर-शेयरिंग तकनीकों और मेमोरी-केंद्रित प्रशिक्षण के संदर्भ में।
पुनरुत्पादन और पहुंच
विशिष्ट सेटअप के लिए कार्यान्वयन विवरण उपलब्ध हैं, जिसमें TensorFlow का उपयोग करके क्लाउड इंफ्रास्ट्रक्चर पर प्रशिक्षण शामिल है। मॉडल का कोड और प्री-ट्रेंड चेकपॉइंट Apache 2.0 लाइसेंस के तहत उपलब्ध हैं, जो शोध और वाणिज्यिक उपयोग के लिए पहुंच सुनिश्चित करते हैं। बड़े मॉडल कॉन्फ़िगरेशन के लिए हाइपरपैरामीटर की पसंद (जैसे, 128k चरणों के लिए बैच आकार 2048) पिछले कार्यों का अनुसरण करती है, लेकिन लेखक छोटे पैमाने के प्रयोगों के लिए समायोजन की सलाह देते हैं।
समुदाय के लिए, कई आकार वेरिएंट (ALBERT-बेस से ALBERT-xxlarge तक) की उपलब्धता लचीलापन प्रदान करती है। इसे लोकप्रिय फ्रेमवर्क जैसे hello, hugging Face transformers में एकीकृत किया जा सकता है, और यह डीप लर्निंग में दक्षता की ओर व्यापक प्रवृत्ति के साथ संरेखित होता है। आर्किटेक्चर BERT-जैसे मॉडलों के बड़े परिवार का हिस्सा है और Machine learning और Deep learning पारिस्थितिकी तंत्रों में एकीकृत होता है।
ALBERT का योगदान विशिष्ट मॉडल से परे है, जो क्रॉस-लेयर पैरामीटर शेयरिंग और फैक्टराइज्ड एम्बेडिंग के लिए नियम प्रदान करता है जिन्हें बाद के शोधकर्ताओं ने अन्य संदर्भों में अपनाया है। इसका डिज़ाइन पाठ्यक्रमों में पढ़ाया गया है (जैसे, Stanford AI Lab या अन्य विश्वविद्यालय वातावरण में) स्केलेबल ट्रांसफॉर्मर वेरिएंट में एक केस स्टडी के रूप में, आसवन और प्रूनिंग जैसी अन्य तकनीकों के साथ।
भविष्य का संदर्भ
जबकि ALBERT को पूर्व-जनरेटिव AI युग के लिए डिज़ाइन किया गया था, इसके पैरामीटर दक्षता के सिद्धांत Large language model के युग में प्रासंगिक बने हुए हैं, जो विशाल संसाधन आवश्यकताओं के लिए जाने जाते हैं। ALBERT द्वारा प्राप्त कमी और मेमोरी फुटप्रिंट पैरामीटर संख्या और गुणवत्ता के बीच व्यापार-बंद के लिए एक ऐतिहासिक बेंचमार्क प्रदान करते हैं। मॉडल का छोटा इतिहास (2019-2020) बाद के संपीड़न विधियों, जैसे वेट क्वांटाइजेशन और लो-रैंक अनुमान, के लिए एक मिसाल स्थापित करता है जो आधुनिक अनुप्रयोगों द्वारा उपयोग किए जाते हैं।
लेखक प्री-ट्रेंड समुदाय के परिणामों के आलोचक थे, और प्री-ट्रेंड आर्टिफैक्ट्स की उपलब्धता ने कई अन्य लोगों को छोटे या एज डिवाइसों के लिए कुशल मध्यम-पैमाने की सेटिंग्स पर फाइन-ट्यूनिंग कार्यों को आधार बनाने की अनुमति दी। हालांकि, बड़े ट्रांसफॉर्मर (जैसे, GPT श्रृंखला) के उदय के कारण, ALBERT की लोकप्रियता कम हुई है लेकिन इसके विशेष उपयोग के मामलों को देखते हुए गायब नहीं हुई है।
उत्पाद कोड संशोधन और उन्नत संस्करण, जैसे मोबाइल-उन्मुख वेरिएंट, तीसरे पक्षों द्वारा विकसित किए गए हैं, जो इसकी पहुंच का विस्तार करते हैं। जबकि नए आर्किटेक्चर अक्सर छाया डालते हैं, ALBERT का पैरामीटर शेयरिंग और लेख-योग्य प्रतिनिधित्व में योगदान क्षेत्र में एक प्रमुख शैक्षिक उदाहरण बना हुआ है।