व्याकरण प्रेरण (Grammar induction) कुछ देखे गए स्ट्रिंग्स या वाक्यों के समूह से एक औपचारिक व्याकरण (जैसे संदर्भ-मुक्त व्याकरण या प्रायिक संदर्भ-मुक्त व्याकरण) का स्वचालित रूप से अनुमान लगाने का कार्य है। लक्ष्य किसी भाषा की अंतर्निहित वाक्य-विन्यास नियमितताओं को पकड़ना है, जिससे एक प्रणाली नए मान्य वाक्य उत्पन्न कर सके या अनदेखे वाक्यों का विश्लेषण कर सके। यह समस्या Machine learning, Artificial intelligence और कम्प्यूटेशनल भाषाविज्ञान के प्रतिच्छेदन पर स्थित है, और कंप्यूटर विज्ञान के शुरुआती दिनों से ही इसका अध्ययन किया जा रहा है। स्पष्ट लेबल वाले पर्यवेक्षित शिक्षण के विपरीत, व्याकरण प्रेरण अक्सर असंबद्ध पाठ पर कार्य करता है, जिससे यह अप्रशिक्षित या कमजोर रूप से पर्यवेक्षित शिक्षण का एक रूप बन जाता है।
इस क्षेत्र की जड़ें सैद्धांतिक कंप्यूटर विज्ञान और संज्ञानात्मक विज्ञान दोनों में गहरी हैं। क्लासिक गोल्ड का प्रमेय (1967) ने प्रदर्शित किया कि व्याकरणों के कुछ वर्गों को केवल सकारात्मक उदाहरणों से सीमा में नहीं सीखा जा सकता है, जिसने अतिरिक्त बाधाओं या प्रायिक ढांचे के उपयोग को प्रेरित किया। बाद के कार्य, जैसे इनसाइड-आउटसाइड एल्गोरिथ्म का विकास (प्रायिक संदर्भ-मुक्त व्याकरणों के लिए फॉरवर्ड-बैकवर्ड एल्गोरिथ्म का एक सामान्यीकरण), ने पैरामीटर अनुमान के लिए व्यावहारिक तरीके प्रदान किए। आधुनिक दृष्टिकोण अक्सर Neural network आर्किटेक्चर का लाभ उठाते हैं, विशेष रूप से Transformer (architecture)-आधारित मॉडल, बड़े कोरपोरा से व्याकरण-जैसी संरचनाओं को प्रेरित करने के लिए।
ऐतिहासिक आधार
व्याकरण प्रेरण का औपचारिक अध्ययन 1950 और 1960 के दशक में नोम चॉम्स्की और अन्य लोगों के औपचारिक भाषा सिद्धांत पर कार्य के साथ शुरू हुआ। चॉम्स्की के पदानुक्रम ने व्याकरणों को उनकी उत्पादक शक्ति द्वारा वर्गीकृत किया, नियमित व्याकरणों से लेकर पुनरावर्ती गणनीय व्याकरणों तक। 1967 में, ई. मार्क गोल्ड ने साबित किया कि संदर्भ-मुक्त व्याकरणों को केवल सकारात्मक उदाहरणों से नहीं सीखा जा सकता है, एक परिणाम जिसने बाद के शोध को आकार दिया। इसने सकारात्मक और नकारात्मक दोनों उदाहरणों से सीखने की खोज को जन्म दिया, साथ ही प्रायिक व्याकरणों के उपयोग को भी, जहां लक्ष्य डेटा को देखते हुए सबसे संभावित व्याकरण खोजना है।
1980 और 1990 के दशक में, CYK पार्सर और इनसाइड-आउटसाइड एल्गोरिथ्म जैसे एल्गोरिथ्मों की शुरुआत के साथ कम्प्यूटेशनल विधियां उन्नत हुईं। इन्होंने प्रायिक संदर्भ-मुक्त व्याकरणों में कुशल पार्सिंग और पैरामीटर अनुमान की अनुमति दी। डाना एंग्लुइन जैसे शोधकर्ताओं ने सक्रिय शिक्षण ढांचे विकसित किए, जहां एक शिक्षार्थी स्ट्रिंग्स की सदस्यता के बारे में एक ओरेकल से पूछताछ कर सकता है, जिसने गोल्ड की कुछ सीमाओं को दरकिनार कर दिया। इस क्षेत्र ने संज्ञानात्मक विज्ञान से भी प्रेरणा ली, विशेष रूप से यह सवाल कि मानव शिशु सीमित इनपुट से भाषा कैसे प्राप्त करते हैं, एक विषय जिसे Brendan Lake और Joshua Tenenbaum जैसे शोधकर्ताओं ने मानव-जैसी शिक्षण के संदर्भ में खोजा।
प्रायिक और बायेसियन दृष्टिकोण
व्याकरण प्रेरण में एक प्रमुख बदलाव प्रायिक और बायेसियन विधियों को अपनाने के साथ आया। एक एकल व्याकरण की खोज करने के बजाय, ये दृष्टिकोण संभावित व्याकरणों पर एक वितरण बनाए रखते हैं और अधिक डेटा देखे जाने पर इसे अद्यतन करते हैं। जेम्स बेकर द्वारा 1979 में पेश किया गया इनसाइड-आउटसाइड एल्गोरिथ्म, एक प्रमुख उदाहरण है, जो प्रायिक संदर्भ-मुक्त व्याकरण के पैरामीटरों का अनुमान लगाने के लिए एक अपेक्षा-अधिकतमीकरण (EM) प्रक्रिया प्रदान करता है। यह एल्गोरिथ्म छिपे हुए मार्कोव मॉडल में उपयोग किए जाने वाले फॉरवर्ड-बैकवर्ड एल्गोरिथ्म के अनुरूप है।
बायेसियन दृष्टिकोण, जैसे कि मार्क जॉनसन और अन्य लोगों द्वारा विकसित, व्याकरण संरचनाओं पर पूर्व वितरण शामिल करते हैं, जिससे अधिक संक्षिप्त और सामान्यीकरण योग्य व्याकरणों का प्रेरण संभव होता है। ये विधियां अक्सर व्याकरणों के स्थान का पता लगाने के लिए मार्कोव चेन मोंटे कार्लो (MCMC) नमूनाकरण का उपयोग करती हैं। एक उल्लेखनीय उदाहरण प्राकृतिक भाषा के लिए बायेसियन व्याकरण प्रेरण पर कार्य है, जिसे छोटे पैमाने के कोरपोरा पर लागू किया गया है और दिखाया गया है कि यह मानव व्याकरणों के समान वाक्य-विन्यास श्रेणियों को पुनर्प्राप्त करता है। इन तकनीकों का उपयोग भाषा अधिग्रहण के बारे में परिकल्पनाओं का परीक्षण करने के लिए संज्ञानात्मक मॉडलिंग में भी किया गया है।
तंत्रिका और गहन शिक्षण विधियां
Deep learning के उदय के साथ, व्याकरण प्रेरण को Neural network आर्किटेक्चर का उपयोग करके फिर से देखा गया है। प्रारंभिक तंत्रिका दृष्टिकोणों ने अनुक्रमिक डेटा को मॉडल करने के लिए आवर्तक तंत्रिका नेटवर्क (RNN) और लंबी अल्पकालिक स्मृति (LSTM) नेटवर्क का उपयोग किया, लेकिन इन्होंने स्पष्ट रूप से व्याकरणों को प्रेरित नहीं किया। हाल ही में, Transformer (architecture)-आधारित मॉडल, जैसे कि Large language model में उपयोग किए जाने वाले, को स्पष्ट रूप से वाक्य-विन्यास संरचना को अंतर्निहित रूप से पकड़ते हुए दिखाया गया है। उदाहरण के लिए, प्रोबिंग अध्ययनों ने प्रदर्शित किया है कि ये मॉडल अपने आंतरिक प्रतिनिधित्व में पदानुक्रमित और व्याकरणिक जानकारी को एन्कोड करते हैं, भले ही उन्हें स्पष्ट व्याकरण पर्यवेक्षण के साथ प्रशिक्षित नहीं किया गया हो।
स्पष्ट तंत्रिका व्याकरण प्रेरण मॉडल भी विकसित किए गए हैं। यिकांग शेन और सहयोगियों द्वारा 2019 में पेश किया गया ON-LSTM (ऑर्डर्ड न्यूरॉन्स LSTM) एक विशेष गेटिंग तंत्र का उपयोग करके एक अव्यक्त वृक्ष संरचना को प्रेरित करता है। एंड्रयू ड्रोज़डोव और अन्य लोगों द्वारा प्रस्तावित DIORA (डायनामिकली-इन्फर्ड ऑन्टोलॉजी फॉर रिकर्सिव एनोटेशन) मॉडल, घटक वृक्षों को प्रेरित करने के लिए इनसाइड-आउटसाइड एल्गोरिथ्म का एक विभेदक संस्करण उपयोग करता है। ये मॉडल कच्चे पाठ पर प्रशिक्षित होते हैं और पार्स वृक्ष उत्पन्न कर सकते हैं जो मानव-एनोटेटेड ट्रीबैंक के साथ उचित रूप से संरेखित होते हैं, अप्रशिक्षित पार्सिंग बेंचमार्क पर अत्याधुनिक परिणाम प्राप्त करते हैं।
अनुप्रयोग और चुनौतियां
व्याकरण प्रेरण के कई क्षेत्रों में व्यावहारिक अनुप्रयोग हैं। Natural language processing में, प्रेरित व्याकरणों का उपयोग अप्रशिक्षित पार्सिंग के लिए किया जा सकता है, जो कम-संसाधन भाषाओं के लिए मूल्यवान है जहां एनोटेटेड ट्रीबैंक उपलब्ध नहीं हैं। Machine learning में, व्याकरण प्रेरण संरचनात्मक प्रेरक पूर्वाग्रह प्रदान करके मॉडल की नमूना दक्षता में सुधार कर सकता है। संज्ञानात्मक विज्ञान में, यह भाषा अधिग्रहण को समझने के लिए एक कम्प्यूटेशनल ढांचा प्रदान करता है। इसके अतिरिक्त, व्याकरण प्रेरण को अन्य डोमेनों में लागू किया गया है, जैसे बायोइन्फॉर्मेटिक्स (उदाहरण के लिए, RNA द्वितीयक संरचना भविष्यवाणी) और प्रोग्राम संश्लेषण, जहां अंतर्निहित संरचना व्याकरणिक है।
प्रगति के बावजूद, व्याकरण प्रेरण एक चुनौतीपूर्ण समस्या बनी हुई है। संभावित व्याकरणों का खोज स्थान विशाल है, और उद्देश्य फलन अक्सर गैर-उत्तल होते हैं, जिससे स्थानीय इष्टतम होते हैं। मूल्यांकन भी कठिन है, क्योंकि किसी दी गई भाषा के लिए कोई एक सही व्याकरण नहीं है; विभिन्न व्याकरण समान रूप से मान्य हो सकते हैं। यह क्षेत्र विकसित होता रहता है, हाल के कार्य Large language model के साथ व्याकरण प्रेरण के एकीकरण की खोज कर रहे हैं ताकि उनकी व्याख्यात्मकता और रचनात्मक सामान्यीकरण में सुधार हो सके। MIT CSAIL और Stanford AI Lab जैसे संस्थानों के शोधकर्ता सक्रिय रूप से इन दिशाओं की जांच कर रहे हैं, जिसका उद्देश्य भाषा के प्रतीकात्मक और कनेक्शनिस्ट दृष्टिकोणों के बीच की खाई को पाटना है।