स्विन ट्रांसफॉर्मर एक प्रकार का विज़न ट्रांसफॉर्मर आर्किटेक्चर है जिसे कंप्यूटर विज़न कार्यों के लिए डिज़ाइन किया गया है। इसे 2021 में माइक्रोसॉफ्ट रिसर्च एशिया और कार्नेगी मेलन विश्वविद्यालय के शोधकर्ताओं द्वारा प्रस्तुत किया गया था। "स्विन" नाम शिफ्टेड विंडो के लिए है, जो स्थानीय, गैर-अतिव्यापी विंडो के भीतर सेल्फ-अटेंशन की गणना करने के इसके मूल तंत्र को संदर्भित करता है, जो क्रमिक परतों के बीच स्थानांतरित होती हैं। यह डिज़ाइन मॉडल को स्थानीय और वैश्विक दृश्य जानकारी दोनों को कुशलतापूर्वक कैप्चर करने की अनुमति देता है, जो पहले के विज़न ट्रांसफॉर्मर की एक प्रमुख सीमा को संबोधित करता है, जो पूरी छवि में वैश्विक रूप से अटेंशन की गणना करते थे, जो छवि रिज़ॉल्यूशन के साथ द्विघात रूप से बढ़ती थी।
प्राकृतिक भाषा प्रसंस्करण के लिए मूल रूप से विकसित मानक ट्रांसफॉर्मर के विपरीत, स्विन ट्रांसफॉर्मर कन्वोल्यूशनल न्यूरल नेटवर्क के समान एक पदानुक्रमित संरचना शामिल करता है। यह कई पैमानों पर फीचर मैप बनाता है, उच्च-रिज़ॉल्यूशन पैच से शुरू होकर धीरे-धीरे उन्हें कम-रिज़ॉल्यूशन, उच्च-आयामी प्रतिनिधित्व में विलय करता है। यह पदानुक्रमित डिज़ाइन इसे छवि वर्गीकरण, वस्तु पहचान और सिमेंटिक सेगमेंटेशन सहित विज़न कार्यों की एक विस्तृत श्रृंखला के लिए उपयुक्त बनाता है, और इसे विभिन्न कंप्यूटर विज़न मॉडल के लिए एक सामान्य-उद्देश्यीय बैकबोन के रूप में कार्य करने में सक्षम बनाता है।
आर्किटेक्चर
स्विन ट्रांसफॉर्मर एक इनपुट छवि को पहले गैर-अतिव्यापी पैच में विभाजित करके संसाधित करता है, आमतौर पर 4x4 पिक्सेल के आकार के। प्रत्येक पैच को समतल किया जाता है और एक फीचर वेक्टर में रैखिक रूप से एम्बेड किया जाता है। मॉडल फिर चरणों की एक श्रृंखला लागू करता है, जिनमें से प्रत्येक में कई स्विन ट्रांसफॉर्मर ब्लॉक होते हैं। प्रत्येक ब्लॉक के भीतर, सेल्फ-अटेंशन की गणना एक निश्चित आकार की स्थानीय विंडो के भीतर की जाती है, जैसे कि 7x7 पैच। यह स्थानीय अटेंशन कम्प्यूटेशनल जटिलता को छवि आकार के संबंध में द्विघात से रैखिक तक कम कर देता है।
क्रॉस-विंडो सूचना विनिमय को सक्षम करने के लिए, आर्किटेक्चर दो प्रकार के ब्लॉकों के बीच वैकल्पिक होता है: एक मानक विंडो-आधारित ब्लॉक और एक शिफ्टेड-विंडो ब्लॉक। शिफ्टेड-विंडो ब्लॉक में, विंडो विभाजन एक निश्चित संख्या में पैच द्वारा ऑफसेट होता है, जिससे मॉडल पड़ोसी क्षेत्रों पर ध्यान केंद्रित कर सकता है जो पहले विभिन्न विंडो में थे। यह शिफ्टिंग तंत्र दक्षता बनाए रखते हुए लंबी-सीमा निर्भरता को मॉडल करने के लिए महत्वपूर्ण है। चरणों के बीच, एक पैच मर्जिंग परत स्थानिक रिज़ॉल्यूशन को दो के कारक से कम करती है और फीचर आयाम को बढ़ाती है, जिससे एक पदानुक्रमित फीचर पिरामिड बनता है।
प्रमुख विशेषताएं
स्विन ट्रांसफॉर्मर कई नवाचार प्रस्तुत करता है जो इसे पहले के विज़न ट्रांसफॉर्मर से अलग करते हैं। शिफ्टेड विंडो दृष्टिकोण कुशल गणना को सक्षम बनाता है जबकि क्रमिक परतों के माध्यम से वैश्विक संदर्भ मॉडलिंग की अनुमति भी देता है। पदानुक्रमित आर्किटेक्चर बहु-पैमाने फीचर मैप प्रदान करता है, जो वस्तु पहचान और सेगमेंटेशन जैसे कार्यों के लिए आवश्यक हैं जहां वस्तुएं विभिन्न पैमानों पर दिखाई देती हैं। इसके अतिरिक्त, मॉडल सापेक्ष स्थितीय एन्कोडिंग का उपयोग करता है, जो इसे पूर्ण स्थितीय एन्कोडिंग की तुलना में विभिन्न इनपुट रिज़ॉल्यूशन के लिए बेहतर सामान्यीकरण करने में मदद करता है।
एक और महत्वपूर्ण विशेषता बैकबोन नेटवर्क के रूप में इसकी लचीलापन है। स्विन ट्रांसफॉर्मर को न्यूनतम संशोधन के साथ मौजूदा कंप्यूटर विज़न फ्रेमवर्क, जैसे ResNet-शैली आर्किटेक्चर या फीचर पिरामिड नेटवर्क में एकीकृत किया जा सकता है। इसने इसे चिकित्सा इमेजिंग से लेकर स्वायत्त ड्राइविंग तक कई डाउनस्ट्रीम अनुप्रयोगों के लिए एक लोकप्रिय विकल्प बना दिया है।
प्रदर्शन और प्रभाव
अपने मूल पेपर में, स्विन ट्रांसफॉर्मर ने कई बेंचमार्क पर अत्याधुनिक परिणाम प्राप्त किए। इसने ImageNet-1K वर्गीकरण पर 84.0% शीर्ष-1 सटीकता हासिल की, जो पिछले विज़न ट्रांसफॉर्मर और कन्वोल्यूशनल नेटवर्क से बेहतर प्रदर्शन करती है। COCO वस्तु पहचान डेटासेट पर, इसने Mask R-CNN डिटेक्टर के साथ 51.9 का बॉक्स AP प्राप्त किया, और ADE20K सिमेंटिक सेगमेंटेशन पर, यह 53.5 mIoU तक पहुंच गया। इन परिणामों ने प्रदर्शित किया कि एक शुद्ध ट्रांसफॉर्मर आर्किटेक्चर अच्छी तरह से स्थापित कन्वोल्यूशनल मॉडल के प्रदर्शन के साथ प्रतिस्पर्धा कर सकता है या उससे अधिक हो सकता है।
स्विन ट्रांसफॉर्मर का कंप्यूटर विज़न के क्षेत्र पर महत्वपूर्ण प्रभाव पड़ा है। इसने मॉडलों के एक परिवार को प्रेरित किया, जिसमें स्विन ट्रांसफॉर्मर V2 शामिल है, जिसने प्रशिक्षण स्थिरता मुद्दों को संबोधित किया और मॉडल को बड़ी क्षमताओं तक बढ़ाया। इसने अन्य पदानुक्रमित विज़न ट्रांसफॉर्मर और हाइब्रिड मॉडल के डिज़ाइन को भी प्रभावित किया जो कन्वोल्यूशनल और अटेंशन तंत्र को जोड़ते हैं। आर्किटेक्चर को अनुसंधान और उद्योग में व्यापक रूप से अपनाया गया है, विशेष रूप से उच्च-रिज़ॉल्यूशन इनपुट या बहु-पैमाने फीचर निष्कर्षण की आवश्यकता वाले कार्यों के लिए।
अनुप्रयोग
स्विन ट्रांसफॉर्मर को कंप्यूटर विज़न समस्याओं की एक विविध श्रृंखला पर लागू किया गया है। चिकित्सा इमेजिंग में, इसका उपयोग ट्यूमर सेगमेंटेशन, रोग वर्गीकरण और छवि पुनर्निर्माण के लिए किया गया है। रिमोट सेंसिंग में, यह भूमि कवर वर्गीकरण और उपग्रह इमेजरी में वस्तु पहचान में सहायता करता है। मॉडल वीडियो समझ कार्यों में बैकबोन के रूप में भी कार्य करता है, जहां यह फ्रेम को अतिरिक्त आयामों के रूप में मानकर स्थानिक-अस्थायी डेटा को संसाधित करता है। इसकी दक्षता और सटीकता इसे एज डिवाइसों पर वास्तविक समय अनुप्रयोगों के लिए उपयुक्त बनाती है, और इसे आसान तैनाती के लिए PyTorch और TensorFlow जैसे फ्रेमवर्क में एकीकृत किया गया है।
वेरिएंट और एक्सटेंशन
विशिष्ट आवश्यकताओं को संबोधित करने के लिए स्विन ट्रांसफॉर्मर के कई वेरिएंट विकसित किए गए हैं। 2021 में जारी स्विन ट्रांसफॉर्मर V2 ने बड़े पैमाने के मॉडल के लिए प्रशिक्षण स्थिरता बढ़ाने के लिए अवशिष्ट पोस्ट-नॉर्मलाइज़ेशन और कोसाइन अटेंशन जैसे सुधार पेश किए। इसने विभिन्न इनपुट रिज़ॉल्यूशन को बेहतर ढंग से संभालने के लिए एक लॉग-स्पेस्ड निरंतर सापेक्ष स्थिति पूर्वाग्रह भी प्रस्तावित किया। अन्य एक्सटेंशन में Swin-Unet शामिल है, जो चिकित्सा छवि सेगमेंटेशन के लिए आर्किटेक्चर को अनुकूलित करता है, और SwinIR, जो सुपर-रिज़ॉल्यूशन और डीनोइज़िंग जैसे छवि बहाली कार्यों के लिए डिज़ाइन किया गया है। ये वेरिएंट विभिन्न समस्या डोमेन के लिए शिफ्टेड विंडो अवधारणा की अनुकूलनशीलता प्रदर्शित करते हैं।
सीमाएं
अपनी ताकत के बावजूद, स्विन ट्रांसफॉर्मर की कुछ सीमाएं हैं। निश्चित विंडो आकार सभी छवियों के लिए इष्टतम नहीं हो सकता है, और शिफ्टेड विंडो तंत्र कार्यान्वयन में जटिलता जोड़ता है। कन्वोल्यूशनल नेटवर्क की तुलना में, ट्रांसफॉर्मर को आम तौर पर शुरू से प्रशिक्षण के लिए अधिक डेटा और कम्प्यूटेशनल संसाधनों की आवश्यकता होती है। मॉडल मल्टी-हेड सेल्फ-अटेंशन पर भी निर्भर करता है, जो बहुत उच्च-रिज़ॉल्यूशन इनपुट के लिए मेमोरी-गहन हो सकता है, हालांकि स्थानीय विंडो डिज़ाइन इस मुद्दे को कम करता है। शोधकर्ताओं ने इन चुनौतियों को संबोधित करने के तरीकों का पता लगाना जारी रखा है, जिससे कुशल विज़न ट्रांसफॉर्मर डिज़ाइन में और नवाचार हुए हैं।