अनुक्रम-से-अनुक्रम (seq2seq) एक तंत्रिका नेटवर्क वास्तुकला है, जिसे 2014 में पेश किया गया था, जो एक इनपुट अनुक्रम को संभावित रूप से भिन्न लंबाई के आउटपुट अनुक्रम में मैप करता है, जिसमें युग्मित नेटवर्क की एक जोड़ी का उपयोग किया जाता है: एक एनकोडर जो इनपुट को एक निश्चित-लंबाई प्रतिनिधित्व में संपीड़ित करता है, और एक डिकोडर जो उस प्रतिनिधित्व से आउटपुट अनुक्रम को एक समय में एक तत्व उत्पन्न करता है। Seq2seq ने एनकोडर-डिकोडर पैटर्न स्थापित किया जो तंत्रिका मशीन अनुवाद के लिए आधारभूत बन गया और सीधे ध्यान तंत्र और बाद में ट्रांसफॉर्मर वास्तुकला के विकास को प्रेरित किया।
वास्तुकला
मूल सूत्रीकरण में, एनकोडर और डिकोडर दोनों को आवर्तक तंत्रिका नेटवर्क के रूप में लागू किया जाता है, जिसमें आमतौर पर LSTM इकाइयों का उपयोग किया जाता है ताकि सरल आवर्तक डिजाइनों की लुप्त ग्रेडिएंट समस्याओं को कम किया जा सके। एनकोडर एक इनपुट अनुक्रम, जैसे कि स्रोत भाषा में एक वाक्य, को एक समय में एक टोकन संसाधित करता है, एक आंतरिक छिपी स्थिति को अद्यतन करता है, और अपनी अंतिम छिपी स्थिति को पूरे इनपुट के सारांश के रूप में डिकोडर को पास करता है। फिर डिकोडर स्वप्रतिगामी मॉडल तरीके से एक समय में एक आउटपुट टोकन उत्पन्न करता है, अपने पिछले आउटपुट को अगले टोकन की भविष्यवाणी करने के लिए इनपुट के रूप में उपयोग करता है, जब तक कि यह एक निर्दिष्ट अनुक्रम-अंत मार्कर उत्पन्न नहीं करता।
उत्पत्ति
यह वास्तुकला 2014 के पेपर "Sequence to Sequence Learning with Neural Networks" में इल्या सुत्स्केवर द्वारा ओरिओल विनियल्स और क्वोक ले के साथ गूगल में पेश की गई थी, जिसने बहु-परत LSTM एनकोडर-डिकोडर का उपयोग करके अंग्रेजी-से-फ्रेंच मशीन अनुवाद पर मजबूत परिणाम प्रदर्शित किए। लगभग उसी समय क्युंगह्यून चो और सहयोगियों द्वारा एक निकट संबंधी सूत्रीकरण प्रकाशित किया गया था, जिन्होंने उसी एनकोडर-डिकोडर ढांचे के भीतर LSTM के सरलीकृत विकल्प के रूप में गेटेड आवर्तक इकाई भी पेश की।
ध्यान तंत्र एकीकरण
मूल seq2seq डिजाइन की एक प्रमुख सीमा पूरे इनपुट अनुक्रम को सारांशित करने के लिए एक एकल निश्चित-लंबाई वेक्टर पर निर्भरता थी, जिसने लंबे वाक्यों पर प्रदर्शन को खराब कर दिया क्योंकि जानकारी संपीड़ित और खो जाती थी। इस बाधा ने 2015 में द्ज़मित्री बहदानौ और सहयोगियों को ध्यान तंत्र पेश करने के लिए प्रेरित किया, जिससे डिकोडर को सभी एनकोडर छिपी स्थितियों को देखने और प्रत्येक आउटपुट टोकन उत्पन्न करते समय इनपुट के कौन से हिस्से सबसे अधिक प्रासंगिक थे, उन्हें गतिशील रूप से भारित करने की अनुमति मिली, जिससे लंबे अनुक्रमों पर अनुवाद गुणवत्ता में काफी सुधार हुआ और ध्यान को अनुक्रम मॉडल के मानक घटक के रूप में स्थापित किया गया।
विरासत
ध्यान के साथ Seq2seq तंत्रिका मशीन अनुवाद प्रणालियों के लिए प्रमुख वास्तुकला बन गया, जिसमें 2016 में गूगल ट्रांसलेट का पूर्ण तंत्रिका प्रणाली में बदलाव शामिल है, इससे पहले कि 2017 के ट्रांसफॉर्मर वास्तुकला में आवर्तक घटकों को अंततः पूरी तरह से हटा दिया गया, जिसका शीर्षक "Attention Is All You Need" सीधे उस तंत्र को संदर्भित करता है जिसे seq2seq अनुसंधान ने इतना प्रभावी दिखाया था। Seq2seq द्वारा स्थापित सामान्य एनकोडर-डिकोडर ढांचा, एक अनुक्रम को दूसरे में मैप करना, आधुनिक प्राकृतिक भाषा प्रसंस्करण के लिए वैचारिक रूप से केंद्रीय बना हुआ है, जो सारांशीकरण से लेकर कोड निर्माण तक के कार्यों को रेखांकित करता है, भले ही मूल वास्तुकला के आवर्तक बिल्डिंग ब्लॉक लगभग पूरी तरह से ध्यान-आधारित गहन शिक्षण डिजाइनों द्वारा प्रतिस्थापित किए गए हों।