न्यूरल स्टाइल ट्रांसफर (NST) सॉफ्टवेयर एल्गोरिदम का एक वर्ग है जो डिजिटल छवियों या वीडियो में हेरफेर करता है ताकि किसी अन्य छवि की उपस्थिति या दृश्य शैली को अपनाया जा सके। NST एल्गोरिदम की विशेषता यह है कि वे छवि परिवर्तन के लिए गहरे तंत्रिका नेटवर्क का उपयोग करते हैं। सामान्य उपयोगों में तस्वीरों से कृत्रिम कलाकृति बनाना शामिल है, जैसे कि प्रसिद्ध चित्रों की उपस्थिति को उपयोगकर्ता-आपूर्ति तस्वीरों में स्थानांतरित करना। DeepArt और Prisma जैसे उल्लेखनीय मोबाइल ऐप NST तकनीकों का उपयोग करते हैं, और दुनिया भर के कलाकार और डिजाइनर मौजूदा शैलियों के आधार पर नई कलाकृति विकसित करने के लिए इस विधि का उपयोग करते हैं।
NST छवि शैलीकरण का एक उदाहरण है, जो गैर-फोटोरियलिस्टिक रेंडरिंग के भीतर दो दशकों से अधिक समय से अध्ययन की जाने वाली समस्या है। पहले दो उदाहरण-आधारित शैली स्थानांतरण एल्गोरिदम छवि अनुरूपताएं और छवि क्विल्टिंग थे, दोनों पैच-आधारित बनावट संश्लेषण पर आधारित थे। छवि अनुरूपताओं को एक परिवर्तन सीखने के लिए छवियों की एक प्रशिक्षण जोड़ी (एक तस्वीर और उसे दर्शाती एक कलाकृति) की आवश्यकता थी, जबकि छवि क्विल्टिंग को उस प्रसंस्करण चरण की आवश्यकता नहीं थी लेकिन केवल एक शैली पर प्रदर्शित किया गया था।
इतिहास
पहली NST विधि लियोन गैटिस एट अल। द्वारा पेपर "A Neural Algorithm of Artistic Style" में प्रकाशित की गई थी, जिसे मूल रूप से 2015 में ArXiv पर जारी किया गया और CVPR सम्मेलन में 2016 में स्वीकार किया गया। मूल पेपर ने ImageNet डेटासेट पर वस्तु पहचान के लिए पूर्व-प्रशिक्षित VGG-19 आर्किटेक्चर का उपयोग किया।। 2017 में, Google AI ने एक विधि पेश की जो एक एकल गहरे संवॉल्यूशनल शैली स्थानांतरण नेटवर्क को एक साथ कई शैलियों को सीखने की अनुमति देती है, जिससे वीडियो मीडिया पर भी वास्तविक समय शैली अंतर्वेशन सक्षम होता हैसम
गणित
NST का विचार दो छवियों को लेना है: एक सामग्री छवि \(\vec{p}\) और एक शैली छवि \(\vec{a}\), और एक तीसरी छवि \(\vec{x}\) उत्पन्न करना है जो दो हानि फलनों के भारित संयोजन को न्यूनतम करती है: एक सामग्री हानि \(\mathcal{L}_{\text{content}}(\vec{p}, \vec{x})\) और एक शैली हानि \(\mathcal{L}_{\text{style}}(\vec{a}, \vec{x})\)। कुल हानि एक रैखिक योग है: \(\mathcal{L}_{\text{NST}}(\vec{p}, \vec{a}, \vec{x}) = \alpha \mathcal{L}_{\text{content}}(\vec{p}, \vec{x}) + \beta \mathcal{L}_{\text{style}}(\vec{a}, \vec{x})\)। इन हानियों को संयुक्त रूप से न्यूनतम करके, NST एक छवि उत्पन्न करता है जो सामग्री छवि की सामग्री को शैली छवि की शैली के साथ मिलाती हैसम
दोनों हानियां छवियों के बीच समानता को मापती हैं। सामग्री समानता एक एकल संवॉल्यूशनल तंत्रिका नेटवर्क (CNN) की दो छवियों पर तंत्रिका सक्रियताओं के बीच वर्ग अंतरों का भारित योग है। शैली समानता प्रत्येक परत के भीतर ग्राम मैट्रिक्स का भारित योग है। मूल पेपर ने VGG-19 CNN का उपयोग किया, लेकिन यह विधि किसी भी CNN के लिए काम करती हैसम
प्रतीक
मान लीजिए \(\vec{x}\) एक छवि है जो CNN को इनपुट है। मान लीजिए \(F^l \in \mathbb{R}^{N_l \times M_l}\) परत \(l\) में छवि के प्रति फिल्टर प्रतिक्रियाओं का मैट्रिक्स है, जहां \(N_l\) परत \(l\) में फिल्टर की संख्या है, और \(M_l\) प्रत्येक फिल्टर प्रतिक्रिया की ऊंचाई गुणा चौड़ाई (पिक्सेल की संख्या) हैसम
अनुप्रयोग और प्रभाव
NST को उपभोक्ता अनुप्रयोगों में व्यापक उपयोग मिला है, विशेष रूप से मोबाइल ऐप में जो उपयोगकर्ताओं को वास्तविक समय में अपनी तस्वीरों पर कलात्मक शैलियों को लागू करने की अनुमति देते हैं। DeepArt और Prisma सबसे उल्लेखनीय हैं, जो सामान्य दर्शकों के लिए तकनीक को लोकप्रिय बनाते हैं। उपभोक्ता ऐप से परे, NST को डिजिटल कलाकारों और डिजाइनरों द्वारा नई कलाकृति बनाने के लिए अपनाया गया है, और इसने Generative AI और छवि निर्माण में बाद के शोध को प्रभावित किया है। तंत्रिका प्रतिनिधित्व में सामग्री को शैली से अलग करने की तकनीक की क्षमता ने Deep learning के अन्य क्षेत्रों में काम को भी सूचित किया है, जैसे कि शैली-आधारित जनरेटर और डोमेन अनुकूलनसम
संबंधित तकनीकें और विकास
NST छवि शैलीकरण विधियों के एक व्यापक परिवार का हिस्सा है जो गहरे शिक्षण से पहले की हैं, जिसमें छवि अनुरूपताएं और छवि क्विल्टिंग जैसे पैच-आधारित दृष्टिकोण शामिल हैं। गहरे तंत्रिका नेटवर्क की शुरुआत ने एक महत्वपूर्ण उन्नति को चिह्नित किया, जिससे अधिक लचीला और उच्च-गुणवत्ता शैली स्थानांतरण सक्षम हुआ। बाद के विकास, जैसे कि बहु-शैली शिक्षण के लिए 2017 Google AI विधि, ने दक्षता और वास्तविक समय प्रदर्शन में सुधार किया। NST अन्य Neural network-आधारित छवि हेरफेर तकनीकों से भी संबंधित है, और इसके सिद्धांतों को आधुनिक Generative AI प्रणालियों में एकीकृत किया गया है, हालांकि वे अक्सर संवॉल्यूशनल नेटवर्क के बजाय Transformer (architecture) मॉडल जैसे विभिन्न आर्किटेक्चर का उपयोग करते हैंसम
सीमाएं और विचारणीय बिंदु
प्रारंभिक NST विधियां कम्प्यूटेशनल रूप से गहन थीं, प्रत्येक आउटपुट छवि के लिए पुनरावृत्त अनुकूलन की आवश्यकता होती थी, हालांकि बाद के दृष्टिकोण जो फीड-फॉरवर्ड नेटवर्क का उपयोग करते थे ने इस लागत को कम किया। परिणामों की गुणवत्ता परतों और हानि भारों की पसंद पर निर्भर करती है, और यह विधि कभी-कभी कलाकृतियां उत्पन्न कर सकती है या बारीक विवरणों को संरक्षित करने में विफल हो सकती है। कई Artificial intelligence तकनीकों के साथ, NST व्युत्पन्न कलाकृतियों को बनाते समय लेखकत्व और मौलिकता के बारे में प्रश्न उठाता है, हालांकि ये NST के लिए अद्वितीय नहीं हैं।