Google Neural Machine Translation (GNMT) गूगल द्वारा विकसित और नवंबर 2016 में पेश की गई एक तंत्रिका मशीन अनुवाद प्रणाली थी। इसने गूगल ट्रांसलेट में प्रवाह और सटीकता बढ़ाने के लिए एक कृत्रिम तंत्रिका नेटवर्क का उपयोग किया, जिसने पिछले सांख्यिकीय मशीन अनुवाद विधियों को प्रतिस्थापित किया। यह प्रणाली एक समय में पूरे वाक्यों का अनुवाद करने के लिए डिज़ाइन की गई थी, जो अनुवाद गुणवत्ता में सुधार के लिए गहन शिक्षण का लाभ उठाती थी। 2020 तक, GNMT को ट्रांसफॉर्मर एनकोडर और RNN डिकोडर पर आधारित एक नई गहन शिक्षण प्रणाली द्वारा प्रतिस्थापित कर दिया गया था।
GNMT वास्तुकला में दो मुख्य ब्लॉक शामिल थे: एक एनकोडर और एक डिकोडर, दोनों LSTM (लॉन्ग शॉर्ट-टर्म मेमोरी) नेटवर्क पर आधारित थे। प्रत्येक ब्लॉक में 8 परतें थीं जिनमें प्रति परत 1024 इकाइयाँ थीं, और एक सरल 1-परत 1024-चौड़ा फीडफॉरवर्ड ध्यान तंत्र उन्हें जोड़ता था। कुल पैरामीटरों की संख्या विभिन्न रूप से 160 मिलियन से अधिक, लगभग 210 मिलियन, 278 मिलियन, या 380 मिलियन बताई गई थी। प्रणाली ने एक WordPiece टोकनाइज़र और एक बीम खोज डिकोडिंग रणनीति का उपयोग किया, और यह टेन्सर प्रोसेसिंग यूनिट (TPU) पर चलती थी।
इतिहास
गूगल ब्रेन परियोजना, जिसने GNMT की नींव रखी, 2011 में गूगल एक्स अनुसंधान प्रयोगशाला में गूगल फेलो जेफ डीन, गूगल शोधकर्ता ग्रेग कोराडो और स्टैनफोर्ड विश्वविद्यालय के प्रोफेसर एंड्रयू एनजी द्वारा स्थापित की गई थी। नवंबर 2016 में, GNMT पेश किया गया, और गूगल ट्रांसलेट ने अपने पिछले सांख्यिकीय तरीकों के बजाय तंत्रिका मशीन अनुवाद का उपयोग करना शुरू कर दिया, जो अक्टूबर 2007 से उपयोग में थे।
GNMT को प्रशिक्षित करना एक महत्वपूर्ण कम्प्यूटेशनल प्रयास था। OpenAI के 2018 के अनुमान के अनुसार, इसके लिए लगभग 79 पेटाफ्लॉप-दिन (या 7e21 FLOPs) की गणना की आवश्यकता थी, जो 2014 के Seq2seq मॉडल से 1.5 परिमाण के क्रम से बड़ा था, लेकिन 2021 में GPT-J-6B से लगभग 2x छोटा था।
नया इंजन पहले आठ भाषाओं के लिए सक्षम किया गया था: अंग्रेजी और फ्रेंच, जर्मन, स्पेनिश, पुर्तगाली, चीनी, जापानी, कोरियाई और तुर्की। मार्च 2017 में, रूसी, हिंदी, वियतनामी और थाई के लिए समर्थन जोड़ा गया। हिब्रू और अरबी उसी महीने के अंत में गूगल ट्रांसलेट समुदाय की मदद से जोड़े गए। अप्रैल 2017 के मध्य में, डच और अंग्रेजी से संबंधित अन्य यूरोपीय भाषाओं का समर्थन किया गया। अप्रैल 2017 के अंत में, नौ भारतीय भाषाएँ जोड़ी गईं: हिंदी, बंगाली, मराठी, गुजराती, पंजाबी, तमिल, तेलुगु, मलयालम और कन्नड़।
2020 तक, गूगल ने GNMT को चरणबद्ध रूप से समाप्त कर दिया, इसे ट्रांसफॉर्मर-आधारित तंत्रिका नेटवर्क प्रणाली से प्रतिस्थापित कर दिया।
प्रौद्योगिकी
GNMT ने उदाहरण-आधारित मशीन अनुवाद विधि का उपयोग किया, जो भाषा अनुवाद के लाखों उदाहरणों से सीखती थी। प्रणाली की वास्तुकला का पहले गूगल ट्रांसलेट द्वारा समर्थित सौ से अधिक भाषाओं पर परीक्षण किया गया था। एक बड़े एंड-टू-एंड ढांचे के साथ, प्रणाली समय के साथ बेहतर, अधिक प्राकृतिक अनुवाद बनाने के लिए सीखती थी। GNMT ने टुकड़े-टुकड़े के बजाय एक समय में पूरे वाक्यों का अनुवाद करने का प्रयास किया, और वाक्यांश-दर-वाक्यांश अनुवाद को याद रखने के बजाय वाक्य के अर्थ को एन्कोड करके अंतर्भाषीय मशीन अनुवाद कर सकता था।
तंत्रिका नेटवर्क को गहन शिक्षण तकनीकों का उपयोग करके प्रशिक्षित किया गया था, और इसका डिज़ाइन भाषाओं के बीच समानताएँ खोजने के लिए मनोविज्ञान और भाषाविज्ञान से अंतर्दृष्टि पर आधारित था। इसने एक सार्वभौमिक अंतर्भाषा नहीं बनाई, बल्कि अर्थ को भाषा-स्वतंत्र तरीके से एन्कोड करने का लक्ष्य रखा।
मूल्यांकन
GNMT पिछले गूगल ट्रांसलेट की तुलना में एक सुधार का प्रतिनिधित्व करता था, क्योंकि यह "शून्य-शॉट अनुवाद" को संभाल सकता था, जो अंग्रेजी से गुजरे बिना एक भाषा से दूसरी भाषा में सीधे अनुवाद करता था। उदाहरण के लिए, यदि जापानी-अंग्रेजी और कोरियाई-अंग्रेजी जोड़ों पर प्रशिक्षित किया गया था, तो यह जापानी-कोरियाई अनुवाद कर सकता था। प्रणाली एक भाषा-स्वतंत्र मध्यवर्ती प्रतिनिधित्व सीखती हुई प्रतीत हुई, जिससे यह क्षमता सक्षम हुई। पहले, गूगल ट्रांसलेट पहले स्रोत भाषा का अंग्रेजी में और फिर लक्ष्य भाषा में अनुवाद करता था।
एनल्स ऑफ इंटरनल मेडिसिन में जुलाई 2019 का एक अध्ययन पाया गया कि "गूगल ट्रांसलेट गैर-अंग्रेजी भाषा के परीक्षणों का अनुवाद करने के लिए एक व्यवहार्य, सटीक उपकरण है।" मशीन-अनुवादित परीक्षणों को पढ़ने वाले समीक्षकों के बीच केवल एक असहमति अनुवाद त्रुटि के कारण थी। चूंकि कई चिकित्सा अध्ययन भाषा बाधाओं के कारण व्यवस्थित समीक्षाओं से बाहर रखे जाते हैं, GNMT में ऐसी समीक्षाओं में पूर्वाग्रह को कम करने और सटीकता में सुधार करने की क्षमता थी।
विरासत
GNMT मशीन अनुवाद में गहन शिक्षण के अनुप्रयोग में एक मील का पत्थर था, जिसने पारंपरिक सांख्यिकीय विधियों पर तंत्रिका-नेटवर्क आधारित दृष्टिकोणों की प्रभावशीलता को प्रदर्शित किया। इसकी वास्तुकला ने ट्रांसफॉर्मर मॉडलों में बाद के विकास को प्रभावित किया, जो बाद में बड़े-भाषा-मॉडल में मौलिक बन गए। प्रणाली के टेन्सर-प्रोसेसिंग-यूनिट का उपयोग AI कार्यभार के लिए विशेष हार्डवेयर के महत्व को भी उजागर करता है। 2020 तक, ट्रांसफॉर्मर-आधारित मॉडलों में बदलाव ने अनुवाद प्रौद्योगिकी में अगले विकास को चिह्नित किया, जो GNMT द्वारा रखी गई नींव पर निर्मित था।