FAISS (फेसबुक एआई समानता खोज) मेटा द्वारा विकसित एक ओपन-सोर्स लाइब्रेरी है, जो घने वैक्टरों के कुशल समानता खोज और क्लस्टरिंग के लिए डिज़ाइन की गई है। इसे उन डेटासेटों को संभालने के लिए बनाया गया है जो रैम में फिट होने के लिए बहुत बड़े हैं, और यह गति और मेमोरी उपयोग के लिए अनुकूलित कई एल्गोरिदम प्रदान करती है। यह लाइब्रेरी मशीन लर्निंग और आर्टिफिशियल इंटेलिजेंस अनुप्रयोगों में व्यापक रूप से उपयोग की जाती है, विशेष रूप से न्यूरल नेटवर्क द्वारा उत्पन्न एम्बेडिंग से जुड़े कार्यों के लिए, जैसे कि अनुशंसा प्रणाली, सूचना पुनर्प्राप्ति, और बड़े भाषा मॉडल पाइपलाइन।
FAISS विभिन्न अनुक्रमण संरचनाओं के लिए एक एकीकृत इंटरफ़ेस प्रदान करती है, जिसमें सटीक खोज (ब्रूट-फोर्स) और अनुमानित विधियाँ जैसे प्रोडक्ट क्वांटाइजेशन, HNSW (पदानुक्रमित नेविगेबल स्मॉल वर्ल्ड), और इनवर्टेड फाइल इंडेक्स शामिल हैं। यह CPU और GPU दोनों त्वरण का समर्थन करती है, जिसमें GPU कार्यान्वयन खोज और क्लस्टरिंग संचालन को काफी तेज करते हैं। लाइब्रेरी C++ में लिखी गई है और इसमें Python बाइंडिंग हैं, जिससे यह डेवलपर्स और शोधकर्ताओं के व्यापक समुदाय के लिए सुलभ है।
इतिहास और विकास
FAISS को पहली बार मार्च 2017 में मेटा (तब फेसबुक) की फंडामेंटल एआई रिसर्च (FAIR) टीम द्वारा जारी किया गया था। प्रारंभिक संस्करण समानता खोज के लिए एक तेज़ और स्केलेबल समाधान प्रदान करने पर केंद्रित था, जो उत्पादन प्रणालियों में अरबों वैक्टरों को संभालने की बढ़ती आवश्यकता को संबोधित करता था। लाइब्रेरी को MIT लाइसेंस के तहत ओपन-सोर्स किया गया था, जिससे शिक्षा और उद्योग दोनों में व्यापक रूप से अपनाया गया।
वर्षों से, FAISS मेटा के शोधकर्ताओं और इंजीनियरों तथा व्यापक समुदाय के योगदान के साथ विकसित हुई है। प्रमुख मील के पत्थरों में 2017 में GPU समर्थन की शुरुआत, 2018 में HNSW इंडेक्स का जोड़, और क्वांटाइजेशन तकनीकों और मेमोरी दक्षता में निरंतर सुधार शामिल हैं। 2024 तक, FAISS वेक्टर खोज के लिए सबसे लोकप्रिय लाइब्रेरी में से एक बनी हुई है, जिसकी Machine learning पारिस्थितिकी तंत्र में मजबूत उपस्थिति है।
मुख्य विशेषताएं
FAISS विभिन्न अनुक्रमण संरचनाएं प्रदान करती है जो खोज सटीकता और गति के बीच समझौता करती हैं। सटीक खोज इंडेक्स (IndexFlatL2) ब्रूट-फोर्स दूरी की गणना करता है, जो पूर्ण रिकॉल प्रदान करता है लेकिन डेटासेट आकार के साथ खराब स्केल करता है। बड़े डेटासेट के लिए, अनुमानित विधियों को प्राथमिकता दी जाती है। इनवर्टेड फाइल इंडेक्स (IVF) वेक्टर स्पेस को क्लस्टरों में विभाजित करता है, जिससे खोज स्थान कम हो जाता है। प्रोडक्ट क्वांटाइजेशन (PQ) वैक्टरों को कॉम्पैक्ट कोड में संपीड़ित करता है, जिससे मेमोरी-कुशल भंडारण और तेज़ दूरी गणना संभव होती है। HNSW इंडेक्स एक बहु-परत ग्राफ बनाता है, जो उच्च रिकॉल के साथ तेज़ अनुमानित निकटतम पड़ोसी खोज की अनुमति देता है।
लाइब्रेरी में क्लस्टरिंग एल्गोरिदम भी शामिल हैं, जैसे कि k-means, जो इनवर्टेड इंडेक्स बनाने और अन्य डेटा विश्लेषण कार्यों के लिए उपयोग किए जाते हैं। FAISS बैच प्रोसेसिंग का समर्थन करती है, जिससे कई क्वेरी एक साथ संभाली जा सकती हैं। यह इंडेक्स प्रदर्शन का मूल्यांकन करने के लिए उपकरण प्रदान करती है, जिसमें रिकॉल और गति बेंचमार्क शामिल हैं।
GPU त्वरण
FAISS में एक समर्पित GPU कार्यान्वयन शामिल है जो इंडेक्स निर्माण और खोज दोनों को तेज करने के लिए CUDA का लाभ उठाता है। GPU संस्करण सभी प्रमुख इंडेक्स प्रकारों का समर्थन करता है, जिसमें फ्लैट, IVF, और PQ शामिल हैं, और हार्डवेयर और डेटासेट के आधार पर CPU-केवल निष्पादन की तुलना में 10 से 100 गुना तक गति प्राप्त कर सकता है। यह इसे वास्तविक समय के अनुप्रयोगों के लिए उपयुक्त बनाता है, जैसे कि Large language model प्रणालियों में सिमेंटिक खोज, जहां कम विलंबता महत्वपूर्ण है।
GPU कोड मेमोरी-कुशल होने के लिए डिज़ाइन किया गया है, जिसमें मेमोरी पूलिंग और एसिंक्रोनस संचालन जैसी तकनीकों का उपयोग करके थ्रूपुट को अधिकतम किया जाता है। FAISS मल्टी-GPU कॉन्फ़िगरेशन का भी समर्थन करती है, जिससे कई उपकरणों में वितरित खोज संभव होती है। यह क्षमता विशेष रूप से क्लाउड वातावरण में FAISS को तैनात करने के लिए उपयोगी है, जैसे कि Amazon Web Services या Google Cloud, जहां GPU इंस्टेंस आसानी से उपलब्ध हैं।
अनुप्रयोग और उपयोग के मामले
FAISS उत्पादन प्रणालियों में समानता खोज और अनुशंसा के लिए व्यापक रूप से उपयोग की जाती है। उदाहरण के लिए, यह ई-कॉमर्स प्लेटफार्मों में सिमेंटिक खोज सुविधाओं को शक्ति प्रदान करती है, जहां उत्पाद एम्बेडिंग की तुलना उपयोगकर्ता क्वेरी एम्बेडिंग से की जाती है ताकि प्रासंगिक आइटम पुनर्प्राप्त किए जा सकें। इसका उपयोग सोशल मीडिया प्लेटफार्मों में समान छवियों या वीडियो खोजने के लिए, और बायोइन्फॉर्मेटिक्स में जीन अभिव्यक्ति प्रोफाइल की तुलना करने के लिए भी किया जाता है।
Generative AI और Artificial intelligence के संदर्भ में, FAISS का उपयोग अक्सर Neural network मॉडल से एम्बेडिंग को संग्रहीत और पुनर्प्राप्त करने के लिए किया जाता है, जिससे Large language model अनुप्रयोगों में रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) सक्षम होता है। दस्तावेज़ एम्बेडिंग को अनुक्रमित करके, FAISS मॉडल को बड़े कॉर्पोरा से प्रासंगिक संदर्भ तक पहुंचने की अनुमति देता है, जिससे उत्पन्न प्रतिक्रियाओं की सटीकता और प्रासंगिकता में सुधार होता है। यह एकीकरण OpenAI और Anthropic जैसी कंपनियों द्वारा बनाए गए फ्रेमवर्क के साथ-साथ ओपन-सोर्स परियोजनाओं में आम है।
एकीकरण और पारिस्थितिकी तंत्र
FAISS NumPy और PyTorch जैसी लोकप्रिय Python लाइब्रेरी के साथ सहजता से एकीकृत होती है, और यह कई वेक्टर डेटाबेस प्रणालियों का एक मुख्य घटक है। कई वाणिज्यिक और ओपन-सोर्स परियोजनाएं, जिनमें Milvus, Weaviate, और Qdrant शामिल हैं, FAISS को अपने अंतर्निहित खोज इंजन के रूप में उपयोग करती हैं। लाइब्रेरी में समुदाय द्वारा बनाए गए रैपरों के माध्यम से Java और Go जैसी अन्य भाषाओं के लिए भी बाइंडिंग हैं।
FAISS समुदाय व्यापक दस्तावेज़ीकरण, ट्यूटोरियल और एक GitHub रिपॉजिटरी बनाए रखता है जिसमें मुद्दा ट्रैकिंग और फीचर अनुरोध शामिल हैं। लाइब्रेरी सक्रिय रूप से विकसित की जा रही है, जिसमें नियमित रिलीज़ शामिल हैं जिनमें प्रदर्शन सुधार और नई सुविधाएं शामिल हैं। 2025 तक, FAISS उच्च-आयामी वेक्टर डेटा के साथ काम करने वाले किसी भी व्यक्ति के लिए एक मौलिक उपकरण बनी हुई है।