BART (Bidirectional and Auto-Regressive Transformer) एक डीनॉइज़िंग ऑटोएनकोडर है जिसे प्राकृतिक भाषा प्रसंस्करण में अनुक्रम-से-अनुक्रम मॉडल के पूर्व-प्रशिक्षण के लिए डिज़ाइन किया गया है। 2019 में फेसबुक एआई के शोधकर्ताओं द्वारा प्रस्तुत, BART पाठ को एक मनमाने नॉइज़िंग फ़ंक्शन के साथ दूषित करता है और मूल पाठ को पुनर्निर्मित करने के लिए एक मॉडल सीखता है। यह कई पूर्व-प्रशिक्षण उद्देश्यों को एकीकृत करने के लिए उल्लेखनीय है, जिसमें BERT और GPT जैसे मॉडलों में उपयोग किए जाने वाले उद्देश्य शामिल हैं, एक एकल ढांचे में जो समझ और निर्माण दोनों कार्यों में उत्कृष्ट है।
BART की वास्तुकला एक मानक अनुक्रम-से-अनुक्रम ट्रांसफॉर्मर है, जिसमें BERT के समान एक द्विदिश एनकोडर और GPT के समान एक ऑटोरेग्रेसिव डिकोडर है। यह डिज़ाइन एनकोडर को बाएं और दाएं दोनों से संदर्भ को पकड़ने की अनुमति देता है, जबकि डिकोडर टोकन दर टोकन आउटपुट उत्पन्न करता है। पूर्व-प्रशिक्षण उद्देश्य में इनपुट पाठ को दूषित करना और मॉडल को डिकोडर के आउटपुट और मूल असंदूषित पाठ के बीच क्रॉस-एन्ट्रॉपी हानि को कम करने के लिए प्रशिक्षित करना शामिल है। विभिन्न नॉइज़िंग रणनीतियों को संभालने में BART का लचीलापन, जैसे टोकन मास्किंग, टोकन विलोपन, पाठ भरना, वाक्य क्रमपरिवर्तन, और दस्तावेज़ रोटेशन, इसे एक शक्तिशाली सामान्य-उद्देश्य मॉडल बनाता है।
विकास और रिलीज़
BART को फेसबुक एआई की एक टीम द्वारा विकसित किया गया था, जो अब मेटा एआई का हिस्सा है, और इसे 2020 की एसोसिएशन फॉर कम्प्यूटेशनल लिंग्विस्टिक्स (ACL) की वार्षिक बैठक में पेपर "BART: डीनॉइज़िंग सीक्वेंस-टू-सीक्वेंस प्री-ट्रेनिंग फॉर नेचुरल लैंग्वेज जनरेशन, ट्रांसलेशन, एंड कॉम्प्रिहेंशन" में प्रस्तुत किया गया था। मॉडल को ओपन-सोर्स सॉफ्टवेयर के रूप में जारी किया गया था, जिसमें फेयरसीक लाइब्रेरी में कार्यान्वयन उपलब्ध हैं। प्रारंभिक रिलीज़ में अंग्रेजी के लिए पूर्व-प्रशिक्षित मॉडल शामिल थे, जिनमें बेस और लार्ज वेरिएंट थे, और बाद में इसे mBART जैसे बहुभाषी संस्करणों तक बढ़ाया गया।
BART का विकास इस अवलोकन से प्रेरित था कि मौजूदा पूर्व-प्रशिक्षण विधियाँ अक्सर या तो समझ कार्यों (जैसे BERT) या निर्माण कार्यों (जैसे GPT) के लिए विशेषीकृत थीं। BART का उद्देश्य एक अनुक्रम-से-अनुक्रम वास्तुकला का उपयोग करके दोनों की ताकत को जोड़ना था जिसे अनुप्रयोगों की एक विस्तृत श्रृंखला के लिए फाइन-ट्यून किया जा सकता है। पूर्व-प्रशिक्षण के दौरान उपयोग किए जाने वाले नॉइज़िंग फ़ंक्शन वास्तविक दुनिया के पाठ में होने वाले विभिन्न प्रकार के भ्रष्टाचार की नकल करने के लिए डिज़ाइन किए गए थे, जिससे मॉडल शोर इनपुट के प्रति मजबूत हो।
अनुप्रयोग और प्रदर्शन
BART ने अपनी रिलीज़ के समय कई बेंचमार्क पर अत्याधुनिक परिणाम प्राप्त किए। इसने विशेष रूप से अमूर्त संवाद, प्रश्न उत्तर, और सारांशीकरण कार्यों पर अच्छा प्रदर्शन किया। उदाहरण के लिए, CNN/DailyMail सारांशीकरण डेटासेट पर, BART-large ने 47.6 का ROUGE-1 स्कोर हासिल किया, जो पिछले मॉडलों से बेहतर था। SQuAD प्रश्न उत्तर डेटासेट पर, इसने 94.6 का F1 स्कोर हासिल किया, जो विशेषीकृत मॉडलों के प्रदर्शन के बराबर या उससे अधिक था। BART ने संवाद प्रणालियों में प्रतिक्रिया निर्माण जैसे प्राकृतिक भाषा निर्माण कार्यों पर भी मजबूत प्रदर्शन दिखाया।
BART के प्रमुख लाभों में से एक न्यूनतम कार्य-विशिष्ट संशोधनों के साथ समझ और निर्माण दोनों कार्यों के लिए फाइन-ट्यून करने की इसकी क्षमता है। वर्गीकरण कार्यों के लिए, डिकोडर से समान प्रतिनिधित्व का उपयोग किया जाता है, जबकि निर्माण कार्यों के लिए, डिकोडर का उपयोग आउटपुट अनुक्रम उत्पन्न करने के लिए किया जाता है। इस बहुमुखी प्रतिभा ने BART को Artificial intelligence और Machine learning के क्षेत्र में चिकित्सकों के लिए एक लोकप्रिय विकल्प बना दिया।
प्रभाव और विरासत
BART का प्राकृतिक भाषा प्रसंस्करण में पूर्व-प्रशिक्षण पर बाद के शोध पर महत्वपूर्ण प्रभाव पड़ा है। इसके डीनॉइज़िंग ऑटोएनकोडर दृष्टिकोण ने बाद के मॉडलों जैसे T5 को प्रेरित किया, जो एक पाठ-से-पाठ ढांचे का भी उपयोग करता है, और विभिन्न अन्य डीनॉइज़िंग-आधारित पूर्व-प्रशिक्षण विधियों को प्रेरित किया। इनपुट पाठ को दूषित करने और इसे पुनर्निर्मित करने की अवधारणा Large language model के विकास में एक मानक तकनीक बन गई है। BART की वास्तुकला और प्रशिक्षण पद्धति का उपयोग कई डोमेन-विशिष्ट अनुप्रयोगों में भी किया जाता है, जैसे बायोमेडिकल पाठ सारांशीकरण और कानूनी दस्तावेज़ प्रसंस्करण।
मॉडल की सफलता ने Deep learning और Neural network अनुसंधान में ट्रांसफॉर्मर-आधारित मॉडल के उपयोग के व्यापक चलन में योगदान दिया। इसने प्रदर्शित किया कि अनुक्रम-से-अनुक्रम वास्तुकला को बड़े कोरपोरा पर प्रभावी ढंग से पूर्व-प्रशिक्षित किया जा सकता है और फिर विभिन्न प्रकार के कार्यों के लिए अनुकूलित किया जा सकता है, जिससे क्षेत्र में अधिक एकीकृत मॉडल का मार्ग प्रशस्त हुआ। BART की ओपन-सोर्स रिलीज़ ने शैक्षणिक और औद्योगिक दोनों सेटिंग्स में इसके गोद लेने की सुविधा भी प्रदान की, कई कंपनियों ने इसे अपने प्राकृतिक भाषा प्रसंस्करण पाइपलाइनों में एकीकृत किया।
तकनीकी विवरण
BART एक मानक ट्रांसफॉर्मर वास्तुकला का उपयोग करता है जिसमें एक द्विदिश एनकोडर और एक ऑटोरेग्रेसिव डिकोडर होता है। बेस मॉडल में एनकोडर और डिकोडर दोनों में 6 परतें हैं, जिनमें 768 का छिपा हुआ आकार और 12 ध्यान शीर्ष हैं, कुल मिलाकर लगभग 140 मिलियन पैरामीटर हैं। लार्ज मॉडल में 12 परतें, 1024 का छिपा हुआ आकार, और 16 ध्यान शीर्ष हैं, कुल मिलाकर लगभग 400 मिलियन पैरामीटर हैं। पूर्व-प्रशिक्षण डेटा में अंग्रेजी विकिपीडिया और पुस्तकों का पाठ शामिल था, जो BERT के लिए उपयोग किए गए डेटा के समान था।
BART में उपयोग किए जाने वाले नॉइज़िंग फ़ंक्शन में टोकन मास्किंग शामिल है, जहां यादृच्छिक टोकन को मास्क टोकन से बदल दिया जाता है; टोकन विलोपन, जहां यादृच्छिक टोकन हटा दिए जाते हैं; पाठ भरना, जहां पाठ के स्पैन को एक एकल मास्क टोकन से बदल दिया जाता है; वाक्य क्रमपरिवर्तन, जहां वाक्यों को फेरबदल किया जाता है; और दस्तावेज़ रोटेशन, जहां दस्तावेज़ को यादृच्छिक टोकन पर शुरू करने के लिए घुमाया जाता है। मॉडल को दूषित संस्करण से मूल पाठ को पुनर्निर्मित करने के लिए प्रशिक्षित किया जाता है, जो इसे पाठ में स्थानीय और वैश्विक दोनों निर्भरताओं को सीखने के लिए मजबूर करता है।