3D गाऊसी स्प्लैटिंग एक दृश्य प्रतिनिधित्व और रेंडरिंग तकनीक है जो त्रि-आयामी दृश्य को उन्मुख, अर्ध-पारदर्शी 3D गाऊसियन के बड़े समूह के रूप में मॉडल करती है, जिनमें से प्रत्येक में स्थिति, आकार, रंग और अपारदर्शिता होती है। 2023 के SIGGRAPH पेपर "3D Gaussian Splatting for Real-Time Radiance Field Rendering" में Bernhard Kerbl, Georgios Kopanas, Thomas Leimkuehler और George Drettakis द्वारा Inria और मैक्स प्लैंक इंस्टीट्यूट से प्रस्तुत, इसने न्यूरल रेडिएंस फील्ड की दृश्य गुणवत्ता को बराबर या पार किया, जबकि रीयल-टाइम फ्रेम दरों पर रेंडरिंग की, और जल्दी ही नोवेल-व्यू संश्लेषण के लिए प्रमुख दृष्टिकोण बन गया।
यह कैसे काम करता है
शास्त्रीय स्ट्रक्चर-फ्रॉम-मोशन द्वारा उत्पन्न विरल पॉइंट क्लाउड से शुरू करके, प्रत्येक बिंदु एक 3D गाऊसी बन जाता है जिसके मापदंडों को ग्रेडिएंट डिसेंट द्वारा अनुकूलित किया जाता है ताकि रैस्टराइज़्ड रेंडरिंग इनपुट तस्वीरों से मेल खाए। NeRF के विपरीत, जो दृश्य को तंत्रिका नेटवर्क भार में अप्रत्यक्ष रूप से संग्रहीत करता है और महंगे किरण नमूने द्वारा रेंडर करता है, गाऊसी स्प्लैटिंग एक स्पष्ट प्रतिनिधित्व है जो तेज़ GPU रैस्टराइज़ेशन द्वारा रेंडर किया जाता है: गाऊसियन को छवि तल पर प्रक्षेपित या "स्प्लैट" किया जाता है और गहराई क्रम में अल्फा-ब्लेंड किया जाता है। प्रशिक्षण के दौरान घनत्वीकरण और छंटाई आवश्यकता के अनुसार विवरण जोड़ते हैं और अनावश्यक प्राइमेटिव हटाते हैं।
अपनाना
प्रकाशन के एक वर्ष के भीतर यह विधि विज़ुअल इफेक्ट्स, गेम इंजन, ड्रोन मैपिंग, रियल-एस्टेट कैप्चर और स्मार्टफोन स्कैनिंग ऐप्स में फैल गई, जिसमें अनरियल इंजन, यूनिटी और उपभोक्ता कैप्चर टूल में समर्थन मिला। अनुसंधान विस्तारों ने गतिशील दृश्य, एनिमेटेबल मानव अवतार, और टेक्स्ट-टू-3D जनरेशन पाइपलाइनों के साथ एकीकरण जोड़ा, जहां स्प्लैट्स अनुकूलित प्रतिनिधित्व के रूप में कार्य करते हैं। यह तकनीक एम्बॉडेड AI और रोबोटिक्स सिमुलेशन को भी पोषित करती है, जो आकस्मिक वीडियो कैप्चर से फोटोरियलिस्टिक वातावरण उत्पन्न करती है।
क्षेत्र से संबंध
गाऊसी स्प्लैटिंग को अक्सर NeRF के व्यावहारिक उत्तराधिकारी के रूप में वर्णित किया जाता है: दोनों कंप्यूटर विज़न और डीप लर्निंग अनुसंधान से उत्पन्न रेडिएंस-फील्ड परिवार से संबंधित हैं, लेकिन स्प्लैटिंग अप्रत्यक्ष तंत्रिका संक्षिप्तता को स्पष्ट प्राइमेटिव और रेंडरिंग गति के लिए बदल देता है। सक्रिय अनुसंधान संपीड़न, पुनःप्रकाशन और हाइब्रिड तंत्रिका-स्पष्ट मॉडल की खोज करता है।