स्केल-इनवेरिएंट फीचर ट्रांसफॉर्म (SIFT) एक कंप्यूटर विज़न एल्गोरिदम है जो छवियों में स्थानीय विशेषताओं का पता लगाने, वर्णन करने और मिलान करने के लिए उपयोग किया जाता है, जिसे डेविड लोवे ने 1999 में आविष्कार किया था। यह स्केलिंग, रोटेशन और प्रकाश परिवर्तनों के तहत मजबूत वस्तु पहचान को सक्षम बनाता है, जिसके अनुप्रयोगों में वस्तु पहचान, रोबोटिक मैपिंग और नेविगेशन, छवि सिलाई, 3D मॉडलिंग, हावभाव पहचान, वीडियो ट्रैकिंग, वन्यजीवों की व्यक्तिगत पहचान और मैच मूविंग शामिल हैं।
SIFT संदर्भ छवियों से कीपॉइंट्स निकालता है और उन्हें डेटाबेस में संग्रहीत करता है। किसी नई छवि में वस्तु को पहचानने के लिए, प्रत्येक विशेषता की तुलना डेटाबेस के साथ फीचर वैक्टर की यूक्लिडियन दूरी का उपयोग करके की जाती है, और सामान्यीकृत हफ ट्रांसफॉर्म के कुशल हैश टेबल कार्यान्वयन के माध्यम से मिलानों के सुसंगत क्लस्टर की पहचान की जाती है। तीन या अधिक विशेषताओं के क्लस्टर सत्यापित किए जाते हैं, और सही मिलानों की संभावना की गणना की जाती है। यह एल्गोरिदम लोवे द्वारा एक दशक के प्रयोग के दौरान विकसित किया गया था; इसका पेटेंट 2020 में समाप्त हो गया।
अवलोकन
किसी छवि में किसी भी वस्तु के लिए, महत्वपूर्ण बिंदुओं को निकालकर एक फीचर विवरण प्रदान किया जा सकता है। यह विवरण, जो प्रशिक्षण छवि से लिया गया है, अन्य वस्तुओं वाली नई छवि में वस्तु का पता लगा सकता है। विशेषताओं को स्केलिंग, शोर और प्रकाश परिवर्तनों के बावजूद पहचानने योग्य होना चाहिए, और अक्सर उच्च-कंट्रास्ट क्षेत्रों जैसे किनारों पर स्थित होती हैं। विशेषताओं के बीच सापेक्ष स्थिति छवियों में सुसंगत रहनी चाहिए; उदाहरण के लिए, केवल दरवाजे के कोनों का उपयोग स्थिति की परवाह किए बिना काम करता है, लेकिन फ्रेम पर बिंदु विफल हो जाते हैं यदि दरवाजा चलता है। SIFT कई विशेषताओं का उपयोग करता है, जिससे मिलान त्रुटियों पर स्थानीय भिन्नताओं का प्रभाव कम हो जाता है।
SIFT अव्यवस्था और आंशिक अवरोध के तहत वस्तुओं को मजबूती से पहचानता है क्योंकि इसका वर्णनकर्ता समान स्केलिंग, अभिविन्यास और प्रकाश परिवर्तनों के प्रति अपरिवर्तनीय है, और एफ़िन विरूपण के प्रति आंशिक रूप से अपरिवर्तनीय है। वर्णनकर्ता रिसेप्टिव फील्ड के संदर्भ में छवि माप पर आधारित है, जिसमें स्केल चयन द्वारा स्थानीय स्केल-अपरिवर्तनीय संदर्भ फ्रेम स्थापित किए जाते हैं।
विशेषताओं के प्रकार
SIFT विशेषताएं स्थानीय हैं, रुचि बिंदुओं पर उपस्थिति पर आधारित हैं, और स्केल और रोटेशन के प्रति अपरिवर्तनीय हैं। वे प्रकाश परिवर्तनों, शोर और मामूली दृष्टिकोण परिवर्तनों के प्रति मजबूत हैं। वे अत्यधिक विशिष्ट हैं, निकालने में आसान हैं, और कम गलत मिलान संभावना के साथ सही पहचान की अनुमति देते हैं। बड़े डेटाबेस के खिलाफ मिलान उच्च आयामीता के कारण बेस्ट-बिन-फर्स्ट खोज के साथ k-d पेड़ों जैसे संभाव्य एल्गोरिदम का उपयोग करता है। केवल तीन SIFT विशेषताएं किसी वस्तु के स्थान और मुद्रा की गणना कर सकती हैं, जिससे आधुनिक हार्डवेयर पर लगभग वास्तविक समय की पहचान संभव होती है।
चरण
स्केल-अपरिवर्तनीय फीचर पहचान
लोवे की विधि एक छवि को फीचर वैक्टर के संग्रह में बदल देती है जो अनुवाद, स्केलिंग और रोटेशन के प्रति अपरिवर्तनीय हैं, प्रकाश के प्रति आंशिक रूप से अपरिवर्तनीय हैं, और ज्यामितीय विरूपण के प्रति मजबूत हैं। ये विशेषताएं प्राथमिक दृश्य कॉर्टेक्स में न्यूरॉन्स से मिलती जुलती हैं जो प्राइमेट दृष्टि में वस्तु पहचान के लिए मूल रूपों को एन्कोड करते हैं। प्रमुख स्थान स्केल स्पेस में गॉसियन के अंतर फ़ंक्शन के अधिकतम और न्यूनतम हैं, जो चिकने और पुनः नमूना की गई छवियों पर लागू होते हैं। कम-कंट्रास्ट उम्मीदवारों और किनारे प्रतिक्रियाओं को हटा दिया जाता है, और प्रमुख अभिविन्यास निर्दिष्ट किए जाते हैं। एफ़िन विरूपण के प्रति मजबूत वर्णनकर्ता प्रमुख स्थानों के आसपास स्थानीय अभिविन्यास विमानों को धुंधला और पुनः नमूना करके प्राप्त किए जाते हैं।
फीचर मिलान और अनुक्रमण
अनुक्रमण SIFT कुंजियों को संग्रहीत करता है और नई छवियों से मिलानों की पहचान करता है। लोवे ने बेस्ट-बिन-फर्स्ट खोज का उपयोग किया, जो एक संशोधित k-d पेड़ एल्गोरिदम है जो सीमित गणना के साथ उच्च संभावना के साथ निकटतम पड़ोसियों को ढूंढता है, हीप-आधारित प्राथमिकता कतार के माध्यम से क्वेरी से दूरी के क्रम में बिन्स की खोज करता है। प्रत्येक कीपॉइंट के लिए, डेटाबेस में निकटतम पड़ोसी न्यूनतम यूक्लिडियन दूरी द्वारा पाया जाता है। उम्मीदवारों को रखा जाता है यदि निकटतम विभिन्न-वर्ग विशेषता की दूरी का अनुपात पर्याप्त रूप से बड़ा है, यह सुनिश्चित करते हुए कि विशिष्ट वस्तु वर्ग मिलानों को अव्यवस्थित नहीं करते हैं। फिर सुसंगत क्लस्टर सत्यापित किए जाते हैं।
अनुप्रयोग और प्रभाव
SIFT को कंप्यूटर विज़न में व्यापक रूप से अपनाया गया है, जो Artificial intelligence और Machine learning जैसे क्षेत्रों को प्रभावित करता है। इसकी मजबूती ने इसे Deep learning और Neural network जैसे गहन शिक्षण दृष्टिकोणों के प्रचलित होने से पहले वस्तु पहचान के लिए एक मानक बना दिया। 2020 में पेटेंट संरक्षण की समाप्ति ने वाणिज्यिक और अनुसंधान अनुप्रयोगों में व्यापक उपयोग को सुविधाजनक बनाया।
SIFT के सिद्धांतों ने बाद के फीचर वर्णनकर्ताओं को भी प्रेरित किया और रोबोटिक्स में प्रगति में योगदान दिया, विशेष रूप से नेविगेशन के लिए Waymo और Tesla में। आंशिक अवरोध और अव्यवस्था को संभालने की इसकी क्षमता वन्यजीव पहचान और फिल्म निर्माण में मैच मूविंग जैसे परिदृश्यों में मूल्यवान बनी हुई है।
विरासत
Deep learning मॉडलों से सीखी गई विशेषताओं के उदय के बावजूद, SIFT एक मौलिक तकनीक बनी हुई है, जिसे अक्सर फीचर मिलान बेंचमार्क में आधार रेखा के रूप में उपयोग किया जाता है। स्केल-स्पेस सिद्धांत में इसका सैद्धांतिक आधार छवि विश्लेषण में अनुसंधान को सूचित करना जारी रखता है। दस वर्षों में एल्गोरिदम का विकास कंप्यूटर विज़न में पुनरावृत्त शोधन का उदाहरण है, और पेटेंट संरक्षण की समाप्ति ने संबंधित क्षेत्रों में नवाचार को प्रोत्साहित किया है।