PEGASUS (Pre-training with Extracted Gap-sentences for Abstractive SUmmarization) भाषा मॉडल है जिसे Google के शोधकर्ताओं द्वारा सारगर्भित पाठ सारांशीकरण के कार्य के लिए विकसित किया गया था। 2019 में प्रस्तुत, यह Transformer (architecture) आर्किटेक्चर और एक नए स्व-पर्यवेक्षित पूर्व-प्रशिक्षण उद्देश्य का लाभ उठाता है जिसे गैप-वाक्य निर्माण कहा जाता है। निष्कर्षण विधियों के विपरीत जो वाक्यों को शब्दशः चुनते हैं, PEGASUS नए वाक्य उत्पन्न करता है जो स्रोत दस्तावेज़ का सारांश प्रस्तुत करते हैं, जिसका उद्देश्य संक्षिप्त और सुसंगत सारांश उत्पन्न करना है।
मॉडल को वेब पाठ और समाचार लेखों के एक बड़े कोर्पस पर पूर्व-प्रशिक्षित किया गया था, जहाँ इसने आसपास के संदर्भ के आधार पर मास्क किए गए वाक्यों की भविष्यवाणी करना सीखा। यह दृष्टिकोण सारांशीकरण कार्य के साथ निकटता से मेल खाता है, जिससे मॉडल महत्वपूर्ण जानकारी को पकड़ने और धाराप्रवाह सारांश उत्पन्न करने में सक्षम होता है। PEGASUS ने कई बेंचमार्कों पर अत्याधुनिक परिणाम प्राप्त किए, जिनमें CNN/Daily Mail डेटासेट और XSum डेटासेट शामिल हैं, और मजबूत क्रॉस-भाषाई क्षमताओं का प्रदर्शन किया।
आर्किटेक्चर और पूर्व-प्रशिक्षण
PEGASUS मानक ट्रांसफॉर्मर एनकोडर-डिकोडर आर्किटेक्चर पर बनाया गया है, जो अन्य अनुक्रम-से-अनुक्रम मॉडल के समान है। एनकोडर इनपुट दस्तावेज़ को संसाधित करता है, जबकि डिकोडर सारांश को टोकन दर टोकन उत्पन्न करता है। मुख्य नवाचार इसके पूर्व-प्रशिक्षण उद्देश्य में निहित है: गैप-वाक्य निर्माण। पूर्व-प्रशिक्षण के दौरान, मॉडल बेतरतीब ढंग से एक दस्तावेज़ से पूरे वाक्यों का चयन और मास्क करता है, फिर शेष पाठ का उपयोग करके उन वाक्यों को पुनर्निर्मित करने के लिए प्रशिक्षित होता है। यह मॉडल को दस्तावेज़ के समग्र अर्थ को समझने और सबसे महत्वपूर्ण जानकारी की पहचान करने के लिए मजबूर करता है, जो सीधे सारांशीकरण में स्थानांतरित होता है।
पूर्व-प्रशिक्षण कोर्पस में समाचार लेखों, वेब पेजों और वैज्ञानिक पत्रों सहित विविध स्रोतों से 500 मिलियन से अधिक वाक्य शामिल थे। मॉडल को बड़े बैच आकार और एक गतिशील मास्किंग रणनीति के साथ प्रशिक्षित किया गया था, जहाँ मास्क किए गए वाक्यों की संख्या और स्थिति भिन्न होती थी। इस सेटअप ने PEGASUS को पाठ्य सामग्री के मजबूत प्रतिनिधित्व सीखने और सारांश उत्पन्न करने की अनुमति दी जो स्रोत के प्रति सारगर्भित और वफादार दोनों हैं।
प्रदर्शन और बेंचमार्क
PEGASUS का मूल्यांकन सारांशीकरण डेटासेट की एक विस्तृत श्रृंखला पर किया गया, जिसमें CNN/Daily Mail, XSum और बहुभाषी WikiHow डेटासेट शामिल हैं। CNN/Daily Mail पर, इसने 44.17 का ROUGE-1 स्कोर प्राप्त किया, जो BART और T5 जैसे पिछले मॉडलों से आगे निकल गया। XSum पर, जिसके लिए अत्यधिक सारगर्भित सारांश की आवश्यकता होती है, PEGASUS ने 25.57 का ROUGE-1 स्कोर प्राप्त किया, जो मौजूदा वाक्यों को निकालने के बजाय नए वाक्य उत्पन्न करने की इसकी क्षमता को प्रदर्शित करता है। मॉडल ने कम-संसाधन कार्यों पर भी अच्छा प्रदर्शन किया, यह दर्शाता है कि बड़े कोर्पस पर पूर्व-प्रशिक्षण सीमित लेबल किए गए डेटा के साथ प्रभावी फाइन-ट्यूनिंग को सक्षम बनाता है।
अंग्रेजी के अलावा, PEGASUS को बहुभाषी पूर्व-प्रशिक्षण का उपयोग करके फ्रेंच, स्पेनिश और जर्मन सहित कई भाषाओं के लिए अनुकूलित किया गया था। यह संस्करण, जिसे mPEGASUS के रूप में जाना जाता है, ने क्रॉस-भाषाई सारांशीकरण बेंचमार्कों पर प्रतिस्पर्धी परिणाम प्राप्त किए, जो मॉडल की बहुमुखी प्रतिभा को उजागर करता है।
अनुप्रयोग और प्रभाव
PEGASUS को शैक्षणिक अनुसंधान और उद्योग दोनों में व्यापक रूप से अपनाया गया है। धाराप्रवाह और सूचनात्मक सारांश उत्पन्न करने की इसकी क्षमता को समाचार एकत्रीकरण, दस्तावेज़ सारांशीकरण और प्रश्न-उत्तर प्रणालियों में लागू किया गया है। मॉडल के पूर्व-प्रशिक्षण दृष्टिकोण ने जनरेटिव एआई में बाद के कार्यों को भी प्रभावित किया है, विशेष रूप से अधिक कुशल और प्रभावी सारांशीकरण मॉडल के विकास में। शोधकर्ताओं ने नए आर्किटेक्चर और पूर्व-प्रशिक्षण रणनीतियों की तुलना करने के लिए PEGASUS को एक आधार रेखा के रूप में उपयोग किया है।
TensorFlow और PyTorch पुस्तकालयों के माध्यम से PEGASUS के ओपन-सोर्स मॉडल के रूप में जारी होने से विभिन्न अनुप्रयोगों में इसका एकीकरण सुगम हुआ। इसका उपयोग कंपनियों और शोध संस्थानों द्वारा लंबे दस्तावेज़ों, जैसे कानूनी अनुबंधों और चिकित्सा रिपोर्टों को संभालने वाले सारांशीकरण उपकरण बनाने के लिए किया गया है। डोमेन-विशिष्ट डेटासेट पर मॉडल के प्रदर्शन को फाइन-ट्यूनिंग के माध्यम से और बेहतर बनाया गया है, जिससे यह कई वास्तविक दुनिया के उपयोग के मामलों के लिए एक व्यावहारिक विकल्प बन गया है।
सीमाएँ और भविष्य की दिशाएँ
अपनी ताकत के बावजूद, PEGASUS की कुछ सीमाएँ हैं। यह कभी-कभी ऐसे सारांश उत्पन्न कर सकता है जो स्रोत के साथ तथ्यात्मक रूप से असंगत होते हैं, जो सारगर्भित सारांशीकरण में एक सामान्य मुद्दा है। मॉडल को पूर्व-प्रशिक्षण के लिए महत्वपूर्ण कम्प्यूटेशनल संसाधनों की भी आवश्यकता होती है, हालाँकि फाइन-ट्यूनिंग अपेक्षाकृत हल्की है। बाद के मॉडल, जैसे कि OpenAI की GPT श्रृंखला और Anthropic के Claude पर आधारित, ने सारांशीकरण के वैकल्पिक दृष्टिकोणों का पता लगाया है, जिसमें सुदृढीकरण सीखना और निर्देश ट्यूनिंग शामिल हैं।
भविष्य के शोध ने उत्पन्न सारांशों में तथ्यात्मक सटीकता में सुधार और मतिभ्रम को कम करने पर ध्यान केंद्रित किया है। इन चुनौतियों का समाधान करने के लिए कंट्रास्टिव लर्निंग और तथ्य-जांच मॉड्यूल जैसी तकनीकों का प्रस्ताव किया गया है। इसके अतिरिक्त, बहुत लंबे दस्तावेज़ों और वास्तविक समय की सारांशीकरण आवश्यकताओं को संभालने के लिए PEGASUS का पुनर्प्राप्ति-संवर्धित निर्माण और तंत्रिका खोज के साथ एकीकरण का पता लगाया गया है।
विरासत
PEGASUS सारगर्भित सारांशीकरण मॉडल के विकास में एक महत्वपूर्ण मील का पत्थर दर्शाता है। इसका गैप-वाक्य निर्माण उद्देश्य एक सरल लेकिन प्रभावी पूर्व-प्रशिक्षण रणनीति प्रदान करता है जो सारांशीकरण कार्य की निकटता से नकल करता है। मॉडल की सफलता ने कार्य-विशिष्ट पूर्व-प्रशिक्षण के महत्व को प्रदर्शित किया, जिसने बाद में T5 और BART जैसे मॉडलों को प्रभावित किया। 2020 के दशक की शुरुआत तक, PEGASUS सारांशीकरण अनुसंधान के लिए एक संदर्भ बिंदु और विभिन्न डोमेन में उच्च-गुणवत्ता वाले सारांश उत्पन्न करने के लिए एक व्यावहारिक उपकरण बना हुआ है।