Polars एक ओपन-सोर्स लाइब्रेरी है जो डेटा हेरफेर और विश्लेषण के लिए है, जिसे बड़े डेटासेट को कुशलतापूर्वक संभालने के लिए डिज़ाइन किया गया है। रस्ट में लिखी गई, यह पांडास के समान एक DataFrame API प्रदान करती है, लेकिन प्रदर्शन और स्केलेबिलिटी पर ध्यान केंद्रित करती है। Polars उत्सुक (eager) और आलसी (lazy) दोनों प्रकार के निष्पादन का समर्थन करती है, जिससे उपयोगकर्ता क्वेरी योजनाएँ बना सकते हैं जो निष्पादन से पहले अनुकूलित होती हैं। यह डेटा साइंस और मशीन लर्निंग वर्कफ़्लो में प्रीप्रोसेसिंग और फीचर इंजीनियरिंग के लिए व्यापक रूप से उपयोग की जाती है।
यह परियोजना रिची विन्क द्वारा शुरू की गई थी, जिन्होंने 2020 में पहला संस्करण जारी किया था। तब से, Polars ने अपनी गति और मेमोरी दक्षता के लिए लोकप्रियता हासिल की है, अक्सर बड़े डेटासेट पर पारंपरिक उपकरणों से बेहतर प्रदर्शन करती है। यह कई प्रोग्रामिंग भाषाओं के लिए उपलब्ध है, जिनमें Python, Rust, और JavaScript (Node.js के माध्यम से) शामिल हैं, और अन्य डेटा साइंस उपकरणों के साथ अच्छी तरह से एकीकृत होती है।
आर्किटेक्चर और डिज़ाइन
Polars Apache Arrow पर आधारित है, जो एक इन-मेमोरी कॉलमर प्रारूप है जो कुशल डेटा प्रोसेसिंग को सक्षम बनाता है। लाइब्रेरी उच्च प्रदर्शन प्राप्त करने के लिए रस्ट की मेमोरी सुरक्षा और समवर्ती सुविधाओं का लाभ उठाती है। इसके मुख्य डिज़ाइन में एक वेक्टराइज़्ड निष्पादन इंजन और एक क्वेरी ऑप्टिमाइज़र शामिल है जो संचालन को पुनः क्रमबद्ध कर सकता है, प्रेडिकेट्स को नीचे धकेल सकता है, और अनावश्यक गणनाओं को समाप्त कर सकता है। Polars आलसी और उत्सुक दोनों APIs का समर्थन करती है: आलसी API उपयोगकर्ताओं को एक क्वेरी योजना परिभाषित करने की अनुमति देती है जो केवल आवश्यकता होने पर अनुकूलित और निष्पादित होती है, जबकि उत्सुक API तुरंत संचालन निष्पादित करती है।
मुख्य विशेषताएँ
Polars डेटा हेरफेर के लिए सुविधाओं का एक समृद्ध सेट प्रदान करती है, जिसमें फ़िल्टरिंग, ग्रुपिंग, जॉइनिंग, रीशेपिंग, और समय-श्रृंखला संचालन शामिल हैं। यह नेस्टेड सूचियों, स्ट्रक्चर्स, और कैटेगोरिकल्स जैसे जटिल डेटा प्रकारों का समर्थन करती है। लाइब्रेरी अभिव्यक्ति-आधारित सिंटैक्स भी प्रदान करती है जो संक्षिप्त और रचनात्मक परिवर्तनों को सक्षम बनाती है। मशीन लर्निंग प्रीप्रोसेसिंग के लिए, Polars में लापता डेटा को संभालने, स्केलिंग, और कैटेगोरिकल चर को एन्कोड करने के उपकरण शामिल हैं। यह CSV, Parquet, JSON, और Arrow IPC सहित विभिन्न फ़ाइल प्रारूपों को पढ़ और लिख सकती है।
प्रदर्शन और स्केलेबिलिटी
Polars के मुख्य लाभों में से एक इसका प्रदर्शन है। यह CPU कोर में संचालन को समानांतर करने के लिए मल्टीथ्रेडिंग का उपयोग करती है, और इसका क्वेरी ऑप्टिमाइज़र संभव होने पर डेटा स्ट्रीमिंग करके मेमोरी उपयोग को कम कर सकता है। बेंचमार्क अक्सर दिखाते हैं कि Polars बड़े डेटासेट पर पांडास से बेहतर प्रदर्शन करती है, कभी-कभी परिमाण के क्रम से। Polars उपलब्ध RAM से अधिक डेटासेट को आउट-ऑफ-कोर निष्पादन का उपयोग करके संभाल सकती है, हालांकि यह Apache Spark जैसी वितरित प्रणालियों की तुलना में अधिक सीमित है।
पारिस्थितिकी तंत्र और एकीकरण
Polars व्यापक डेटा साइंस पारिस्थितिकी तंत्र के साथ एकीकृत होती है। यह DataFrames को पांडास और नम्पी सरणियों में और उनसे परिवर्तित कर सकती है, और apache-arrow के साथ अंतरसंचालनीयता का समर्थन करती है। मशीन लर्निंग वर्कफ़्लो में, Polars अक्सर स्किकिट-लर्न और टेंसरफ्लो के साथ डेटा तैयारी के लिए उपयोग की जाती है। लाइब्रेरी में एक्सटेंशन और उपकरणों का एक बढ़ता हुआ पारिस्थितिकी तंत्र भी है, जैसे उन्नत क्वेरी अनुकूलन के लिए polars-lazy और अतिरिक्त डेटाटाइम उपयोगिताओं के लिए polars-xdt।
अपनाना और समुदाय
अपनी रिलीज़ के बाद से, Polars को विभिन्न उद्योगों में डेटा वैज्ञानिकों और इंजीनियरों द्वारा अपनाया गया है, जिनमें वित्त, स्वास्थ्य सेवा, और प्रौद्योगिकी शामिल हैं। यह अमेज़न वेब सर्विसेज और गूगल क्लाउड जैसी कंपनियों द्वारा उनकी डेटा प्रोसेसिंग पाइपलाइनों में उपयोग की जाती है। यह परियोजना GitHub पर सक्रिय रूप से बनाए रखी जाती है, जिसमें वैश्विक समुदाय से योगदान होता है। 2024 तक, Polars के GitHub पर 20,000 से अधिक स्टार हैं और एक समर्पित उपयोगकर्ता आधार है। लाइब्रेरी लगातार विकसित हो रही है, नियमित रिलीज़ के साथ नई सुविधाएँ और प्रदर्शन सुधार जोड़े जा रहे हैं।
यह भी देखें
- dataframe
- data-manipulation
- मशीन लर्निंग
- apache-arrow
- पांडास