एक न्यूरल रेडियंस फील्ड (NeRF) एक न्यूरल फील्ड है जिसका उपयोग द्वि-आयामी छवियों से किसी दृश्य का त्रि-आयामी प्रतिनिधित्व पुनर्निर्माण करने के लिए किया जाता है। यह मॉडल नवीन दृश्य संश्लेषण, दृश्य ज्यामिति पुनर्निर्माण, और दृश्य के परावर्तन गुण प्राप्त करने जैसे डाउनस्ट्रीम अनुप्रयोगों को सक्षम बनाता है। कैमरा पोज़ जैसे अतिरिक्त गुण भी संयुक्त रूप से सीखे जा सकते हैं। पहली बार 2020 में पेश किया गया, NeRF ने कंप्यूटर ग्राफिक्स और सामग्री निर्माण में महत्वपूर्ण ध्यान आकर्षित किया है।
मूल विचार एक दृश्य को एक सतत फलन के रूप में प्रस्तुत करना है जिसे Neural network द्वारा अनुमानित किया जाता है। एक स्थानिक स्थान और देखने की दिशा दिए जाने पर, नेटवर्क रंग और घनत्व आउटपुट करता है, जिससे पारंपरिक वॉल्यूम रेंडरिंग मनमाने दृष्टिकोण से छवियां उत्पन्न कर सकती है।
एल्गोरिथ्म
NeRF एल्गोरिथ्म एक दृश्य को एक गहरे तंत्रिका नेटवर्क द्वारा पैरामीट्रिज्ड रेडियंस फील्ड के रूप में प्रस्तुत करता है। नेटवर्क एक 3D निर्देशांक (x, y, z) और यूलर कोणों में देखने की दिशा दिए जाने पर वॉल्यूम घनत्व और दृश्य-निर्भर उत्सर्जित रेडियंस की भविष्यवाणी करता है। कैमरा किरणों के साथ कई बिंदुओं का नमूना लेकर, पारंपरिक वॉल्यूम रेंडरिंग तकनीक एक छवि उत्पन्न करती हैं।
यह प्रक्रिया पूरी तरह से विभेदनीय है। प्रत्येक कैमरा किरण के लिए, नेटवर्क बिंदुओं का नमूना लेता है, घनत्व और रंग की भविष्यवाणी करता है, और उन्हें एक प्रस्तुत पिक्सेल मान में संयोजित करता है। यह डिज़ाइन ग्रेडिएंट डिसेंट का उपयोग करके इनपुट छवियों के विरुद्ध सीधे अनुकूलन को सक्षम बनाता है, जिससे नेटवर्क को एक सुसंगत वॉल्यूमेट्रिक मॉडल सीखने के लिए प्रोत्साहित किया जाता है।
डेटा संग्रह
प्रत्येक अद्वितीय दृश्य के लिए एक NeRF को फिर से प्रशिक्षित किया जाना चाहिए। पहला चरण विभिन्न कोणों से छवियों और उनके कैमरा पोज़ को एकत्र करना शामिल है। मानक 2D छवियां पर्याप्त हैं; किसी विशेष कैमरे या सॉफ्टवेयर की आवश्यकता नहीं है। कोई भी कैमरा डेटासेट उत्पन्न कर सकता है, बशर्ते सेटिंग्स और कैप्चर विधियाँ स्ट्रक्चर-फ्रॉम-मोशन (SfM) आवश्यकताओं को पूरा करें।
कैमरा स्थिति और अभिविन्यास को ट्रैक किया जाना चाहिए, अक्सर एक साथ स्थानीयकरण और मैपिंग (SLAM), GPS, या जड़त्वीय अनुमान के संयोजन के माध्यम से। शोधकर्ता अक्सर मूल्यांकन के लिए सिंथेटिक डेटा का उपयोग करते हैं क्योंकि पारंपरिक गैर-सीखे गए तरीकों से प्रस्तुत छवियां प्रतिलिपि प्रस्तुत करने योग्य और त्रुटि-मुक्त कैमरा पोज़ प्रदान करती हैं।
प्रशिक्षण
प्रदान किए गए प्रत्येक विरल दृष्टिकोण के लिए, कैमरा किरणों को दृश्य के माध्यम से मार्च किया जाता है ताकि कैमरे में संबंधित रेडियंस दिशाओं के साथ 3D बिंदु उत्पन्न हों। मल्टी-लेयर परसेप्ट्रॉन (MLP) इन बिंदुओं के लिए वॉल्यूम घनत्व और उत्सर्जित रेडियंस की भविष्यवाणी करता है। शास्त्रीय वॉल्यूम रेंडरिंग फिर एक छवि उत्पन्न करती है। चूंकि पाइपलाइन पूरी तरह से विभेदनीय है, भविष्यवाणी की गई और मूल छवि के बीच त्रुटि को कई दृष्टिकोणों पर ग्रेडिएंट डिसेंट का उपयोग करके कम किया जाता है, जो MLP को एक सुसंगत 3D मॉडल की ओर मार्गदर्शन करता है।
विविधताएं और सुधार
NeRF के शुरुआती संस्करण धीरे-धीरे अनुकूलित होते थे और सभी इनपुट दृश्यों को सुसंगत प्रकाश व्यवस्था के तहत एक ही कैमरे से कैप्चर करने की आवश्यकता होती थी। वे ड्रम सेट, पौधों, या छोटे खिलौनों जैसी व्यक्तिगत वस्तुओं के चारों ओर कक्षीय शॉट्स के साथ सबसे अच्छा प्रदर्शन करते थे। 2020 के बाद से, पर्याप्त सुधारों ने उपयोगिता का विस्तार किया है और प्रशिक्षण को तेज किया है।
फूरियर फीचर मैपिंग
मूल 2020 पेपर के तुरंत बाद, फूरियर फीचर मैपिंग ने प्रशिक्षण गति और सटीकता में सुधार किया। गहरे तंत्रिका नेटवर्क अक्सर निम्न-आयामी डोमेन में उच्च-आवृत्ति फलन सीखने में संघर्ष करते हैं, एक घटना जिसे वर्णक्रमीय पूर्वाग्रह के रूप में जाना जाता है। इसे दूर करने के लिए, इनपुट बिंदुओं को MLP में खिलाए जाने से पहले एक उच्च-आयामी फीचर स्थान पर मैप किया जाता है। मैपिंग कई आवृत्ति वैक्टर के साथ साइन और कोसाइन परिवर्तनों का उपयोग करती है, जिससे नेटवर्क को बारीक ज्यामितीय बनावट और विवरण का प्रतिनिधित्व करने की अनुमति मिलती है।
अन्य विकास
बाद के प्रगति में पदानुक्रमित नमूनाकरण रणनीतियाँ शामिल हैं जो सतहों के पास अधिक नमूने आवंटित करती हैं, एक्सपोज़र- और प्रकाश-जागरूक विविधताएं, और तेज़ अभिसरण के लिए गहराई पूर्व ज्ञान को शामिल करने वाली विधियाँ। कुछ संस्करण कैमरा मापदंडों को सीधे अनुमान लगाने के लिए सीखने के ढांचे के साथ NeRF को मिश्रित करते हैं, जिससे प्रीप्रोसेसिंग बोझ कम होता है। ग्रिड या हाइब्रिड प्रतिनिधित्व का उपयोग करने वाले कुशल कार्यान्वयन ने प्रशिक्षण समय को घंटों से मिनटों तक कम कर दिया है।
अनुप्रयोग
NeRF तकनीक जनरेटिव AI और कंप्यूटर ग्राफिक्स में उपयोग के मामलों की एक श्रृंखला का समर्थन करती है। सामग्री निर्माता इसका उपयोग विरल तस्वीरों से वस्तुओं के चारों ओर उड़ने वाले दृश्य उत्पन्न करने के लिए करते हैं, जिससे आभासी संग्रहालयों और खुदरा उत्पादों में वृद्धि होती है। तकनीक सांस्कृतिक विरासत संरक्षण और रोबोटिक्स के लिए दृश्य ज्यामिति निष्कर्षण का भी समर्थन करती है। विशिष्ट दृष्टिकोण घनत्व की अंतर्निहित आवश्यकता वास्तविक समय के अनुप्रयोगों को सीमित करना जारी रखती है, हालांकि चल रहे शोध इसका समाधान करना चाहते हैं।
गहन सीखने के साथ अंतर्क्रिया ने NeRF को दृश्य रेंडरिंग और 3D दृश्य समझ के लिए एक केंद्रीय तकनीक के रूप में स्थापित किया है, जिसे अक्सर Computer vision और कंप्यूटर ग्राफिक्स समुदायों में खोजा जाता है। Google DeepMind जैसी फर्मों और शैक्षणिक प्रयोगशालाओं ने महत्वपूर्ण अनुवर्ती कार्य में योगदान दिया है।
यह भी देखें
- मशीन लर्निंग
- वॉल्यूम रेंडरिंग
- नवीन दृश्य संश्लेषण
- स्ट्रक्चर फ्रॉम मोशन