तंत्रिका मशीन अनुवाद (NMT) मशीन अनुवाद का एक दृष्टिकोण है जो शब्दों के अनुक्रम की संभावना का अनुमान लगाने के लिए एक कृत्रिम तंत्रिका नेटवर्क का उपयोग करता है, आमतौर पर एक एकीकृत मॉडल में पूरे वाक्यों को मॉडल करता है। पिछले सांख्यिकीय तरीकों के विपरीत, जो वाक्यों को वाक्यांशों में तोड़ते थे और अलग-अलग घटकों को लागू करते थे, NMT अनुवाद को एक अंत-से-अंत सीखने की समस्या के रूप में मानता है, जहां एक तंत्रिका-नेटवर्क को स्रोत वाक्य को सीधे लक्ष्य वाक्य में मैप करने के लिए प्रशिक्षित किया जाता है। यह दृष्टिकोण मशीन अनुवाद में प्रमुख प्रतिमान बन गया है, जो विशिष्ट परिस्थितियों में उच्च-संसाधन भाषाओं के बीच अनुवाद करते समय मानव अनुवाद के बराबर अनुवाद उत्पन्न करने में सक्षम है। हालांकि, चुनौतियां बनी हुई हैं, विशेष रूप से सीमित उच्च-गुणवत्ता वाले डेटा वाली भाषाओं के लिए, प्रशिक्षण डेटा और वास्तविक दुनिया के ग्रंथों के बीच डोमेन बदलाव के लिए, और शाब्दिक अनुवाद उत्पन्न करने की प्रवृत्ति के लिए।
NMT सिस्टम संभावित अनुवादों को संभावना प्रदान करते हैं और सबसे संभावित आउटपुट की खोज करते हैं। अधिकांश मॉडल ऑटो-रिग्रेसिव होते हैं, जिसका अर्थ है कि वे एक समय में एक लक्ष्य टोकन उत्पन्न करते हैं, प्रत्येक भविष्यवाणी को स्रोत वाक्य और पहले उत्पन्न टोकन पर आधारित करते हैं। पूरे अनुवाद की संभावना इन व्यक्तिगत टोकन संभावनाओं का गुणनफल है। वास्तुकला की दृष्टि से, अधिकांश NMT मॉडल एनकोडर-डिकोडर डिजाइन का पालन करते हैं: एक एनकोडर स्रोत वाक्य को एक वेक्टर या मैट्रिक्स प्रतिनिधित्व में संसाधित करता है, और एक डिकोडर उस प्रतिनिधित्व और अपने स्वयं के पिछले आउटपुट का उपयोग करके लक्ष्य वाक्य को टोकन दर टोकन उत्पन्न करता है। यह प्रक्रिया तब तक जारी रहती है जब तक एक विशेष अंत-का-वाक्य टोकन उत्पन्न नहीं होता।
ऐतिहासिक विकास
NMT की जड़ें 1980 के दशक के अंत तक जाती हैं। 1987 में, रॉबर्ट बी. एलन ने 31 शब्दों की सीमित शब्दावली के साथ स्वचालित रूप से उत्पन्न अंग्रेजी वाक्यों का स्पेनिश में अनुवाद करने के लिए एक फीड-फॉरवर्ड तंत्रिका नेटवर्क का प्रदर्शन किया। चूंकि नेटवर्क में परिवर्तनीय-लंबाई अनुक्रमों को संभालने के लिए कोई तंत्र नहीं था, इसलिए इसके इनपुट और आउटपुट परतों को संबंधित भाषाओं में सबसे लंबे वाक्यों को समायोजित करने के लिए आकार दिया गया था। एलन ने एन्कोडिंग और डिकोडिंग के लिए ऑटो-एसोसिएटिव मॉडल का उपयोग करने का भी सुझाव दिया।
1991 में, लोनी क्रिसमैन ने स्रोत और लक्ष्य भाषाओं के लिए जॉर्डन बी. पोलाक द्वारा विकसित अलग-अलग पुनरावर्ती ऑटो-एसोसिएटिव मेमोरी (RAAM) नेटवर्क को प्रशिक्षित करके इस काम का विस्तार किया। इन नेटवर्कों ने मनमानी-लंबाई वाले वाक्यों को निश्चित-आकार के छिपे हुए प्रतिनिधित्व में एन्कोड किया और उन्हें वापस डिकोड किया, इस अतिरिक्त बाधा के साथ कि दोनों नेटवर्क एक साझा छिपा हुआ प्रतिनिधित्व साझा करते थे, जिससे अनुवाद संभव हुआ। 1997 में, फोरकाडा और नेको ने इसे एक पुनरावर्ती हेटेरो-एसोसिएटिव मेमोरी में सरल बनाया जिसने सीधे स्रोत एनकोडर और लक्ष्य डिकोडर को प्रशिक्षित किया। उसी वर्ष 1997 में, कास्टानो और कासाकुबेर्ता ने एक छोटे पैमाने के अनुवाद कार्य के लिए एल्मन के पुनरावर्ती तंत्रिका नेटवर्क का उपयोग किया।
इन शुरुआती प्रगति के बावजूद, उस समय के कंप्यूटिंग संसाधन वास्तविक दुनिया के अनुवाद के लिए आवश्यक बड़े डेटासेट के लिए अपर्याप्त थे। नतीजतन, 1990 और 2000 के दशक के दौरान सांख्यिकीय मशीन अनुवाद सबसे उन्नत तकनीक बन गया।
हाइब्रिड दृष्टिकोण
सांख्यिकीय मशीन अनुवाद के युग के दौरान, कुछ शोधकर्ताओं ने मौजूदा ढांचे में तंत्रिका विधियों को एकीकृत किया। उदाहरण के लिए, होल्गर श्वेंक और सहयोगियों ने पारंपरिक एन-ग्राम भाषा मॉडल को तंत्रिका भाषा मॉडल के साथ बदल दिया और वाक्यांश अनुवाद संभावनाओं का अनुमान लगाने के लिए फीड-फॉरवर्ड नेटवर्क का उपयोग किया। इन हाइब्रिड सिस्टमों ने सांख्यिकीय दृष्टिकोणों की विशिष्ट लॉग-रैखिक सुविधाओं के संयोजन को बनाए रखा, लेकिन विशिष्ट उप-समस्याओं को सुधारने के लिए तंत्रिका घटकों का लाभ उठाया।
seq2seq सफलता
आधुनिक अंत-से-अंत NMT का युग 2013 और 2014 में शुरू हुआ। काल्चब्रेनर और ब्लुनसोम ने स्रोत को एन्कोड करने के लिए एक कन्वोल्यूशनल तंत्रिका नेटवर्क (CNN) का उपयोग किया, जबकि चो एट अल. और सुत्सकेवर एट अल. ने स्वतंत्र रूप से पुनरावर्ती तंत्रिका नेटवर्क (RNN) को अपनाया। तीनों ने स्रोत के एक निश्चित एन्कोडिंग पर आधारित एक RNN डिकोडर का उपयोग किया। हालांकि, इन मॉडलों ने लंबे वाक्यों पर खराब प्रदर्शन किया, एक सीमा जिसे 2014 में बहदानौ एट अल. द्वारा ध्यान की शुरुआत के साथ संबोधित किया गया था। प्रत्येक डिकोडिंग चरण में, ध्यान ने डिकोडर को स्रोत वाक्य के विभिन्न हिस्सों पर ध्यान केंद्रित करने की अनुमति दी, गतिशील रूप से एक संदर्भ वेक्टर की गणना की जिसने अनुवाद गुणवत्ता में सुधार किया, विशेष रूप से लंबे इनपुट के लिए।
आधुनिक वास्तुकला और प्रगति
ध्यान तंत्र बाद के NMT सिस्टमों का एक मूलभूत घटक बन गया। 2017 में, वासवानी एट अल. द्वारा पेश की गई ट्रांसफॉर्मर वास्तुकला ने पुनरावर्ती और कन्वोल्यूशनल परतों को मल्टी-हेड-अटेंशन तंत्र के साथ बदल दिया, जिससे समानांतर प्रसंस्करण और लंबी दूरी की निर्भरताओं का बेहतर संचालन संभव हुआ। ट्रांसफॉर्मर जल्दी से NMT के लिए मानक बन गए और बड़े-भाषा-मॉडल के विकास की नींव रखी, जिसने विशाल कोरपोरा पर प्रीट्रेनिंग के माध्यम से अनुवाद क्षमताओं को और बेहतर बनाया।
आधुनिक NMT सिस्टम अक्सर डिकोडिंग के लिए बीम-सर्च, मजबूती में सुधार के लिए डेटा-ऑग्मेंटेशन, और दक्षता के लिए मॉडल-प्रूनिंग जैसी तकनीकों को शामिल करते हैं। इन्हें प्रमुख क्लाउड प्रदाताओं, जिनमें गूगल-क्लाउड, अमेज़न-वेब-सर्विसेज, और एज़्योर शामिल हैं, के साथ-साथ विशेष AI कंपनियों द्वारा तैनात किया जाता है। इन प्रगति के बावजूद, NMT अभी भी कम-संसाधन भाषाओं और डोमेन अनुकूलन के साथ चुनौतियों का सामना करता है, और इसके आउटपुट अत्यधिक शाब्दिक हो सकते हैं, कभी-कभी मुहावरेदार या सांस्कृतिक रूप से सूक्ष्म अभिव्यक्तियों को खो देते हैं।
मूल्यांकन और प्रभाव
NMT सिस्टमों का मूल्यांकन आमतौर पर BLEU जैसे स्वचालित मेट्रिक्स का उपयोग करके किया जाता है, जो उत्पन्न अनुवादों की तुलना संदर्भ अनुवादों से करते हैं, हालांकि प्रवाह और पर्याप्तता का आकलन करने के लिए मानव मूल्यांकन महत्वपूर्ण बना हुआ है। NMT का प्रभाव अनुवाद उपकरणों से परे फैला हुआ है; इसने जनरेटिव-एआई और कृत्रिम-बुद्धिमत्ता जैसे क्षेत्रों को अधिक व्यापक रूप से प्रभावित किया है, जो अंत-से-अंत सीखने की शक्ति का प्रदर्शन करता है। 2020 के दशक के मध्य तक, NMT विकसित होता जा रहा है, जिसमें शोध दक्षता में सुधार, बहुभाषी परिदृश्यों को संभालने और इसकी सीमाओं को संबोधित करने के लिए बाहरी ज्ञान को एकीकृत करने पर केंद्रित है।