नेटफ्लिक्स पुरस्कार

नेटफ्लिक्स प्राइज़ नेटफ्लिक्स द्वारा आयोजित एक खुली प्रतियोगिता थी, जो एक वीडियो स्ट्रीमिंग सेवा है, जिसका उद्देश्य फिल्मों के लिए उपयोगकर्ता रेटिंग की भविष्यवाणी करने के लिए सर्वोत्तम सहयोगी फ़िल्टरिंग एल्गोरिदम विकसित करना था। यह प्रतियोगिता 2 अक्टूबर 2006 से 21 सितंबर 2009 तक चली, और यह नेटफ्लिक्स से जुड़े किसी भी व्यक्ति (वर्तमान और पूर्व कर्मचारियों और उनके करीबी रिश्तेदारों सहित) और क्यूबा या उत्तर कोरिया जैसे कुछ प्रतिबंधित देशों के निवासियों को छोड़कर सभी के लिए खुली थी। 1,000,000 अमेरिकी डॉलर का मुख्य पुरस्कार बेल्कोर के प्रैग्मैटिक कैओस टीम को प्रदान किया गया, जिसने रेटिंग की भविष्यवाणी में नेटफ्लिक्स के अपने एल्गोरिदम, सिनेमैच की तुलना में 10.06% सुधार हासिल किया।

समस्या और डेटा सेट

नेटफ्लिक्स ने एक प्रशिक्षण डेटा सेट प्रदान किया जिसमें 100,480,507 रेटिंग शामिल थीं जो 480,189 उपयोगकर्ताओं ने 17,770 फिल्मों को दी थीं। प्रत्येक प्रशिक्षण रेटिंग <उपयोगकर्ता, फिल्म, ग्रेड की तारीख, ग्रेड> के रूप की एक चतुष्क थी, जहाँ उपयोगकर्ता और फिल्म पूर्णांक आईडी थे और ग्रेड 1 से 5 स्टार तक के पूर्णांक थे। योग्यता डेटा सेट में 2,817,131 से अधिक त्रिक शामिल थे जो <उपयोगकर्ता, फिल्म, ग्रेड की तारीख> के रूप में थे, जिनके ग्रेड केवल जूरी को ज्ञात थे। एक भाग लेने वाली टीम के एल्गोरिदम को पूरे योग्यता सेट पर ग्रेड की भविष्यवाणी करनी थी, लेकिन टीमों को केवल आधे डेटा के स्कोर के बारे में सूचित किया गया था: 1,408,342 रेटिंग का एक क्विज़ सेट। दूसरा आधा, 1,408,789 रेटिंग का परीक्षण सेट, जूरी द्वारा संभावित पुरस्कार विजेताओं को निर्धारित करने के लिए उपयोग किया गया था। केवल न्यायाधीशों को पता था कि कौन सी रेटिंग क्विज़ सेट में थीं और कौन सी परीक्षण सेट में थीं, यह व्यवस्था परीक्षण सेट पर हिल क्लाइम्बिंग को कठिन बनाने के लिए की गई थी।

प्रस्तुत भविष्यवाणियों को वास्तविक ग्रेड के विरुद्ध रूट मीन स्क्वेयर एरर (RMSE) का उपयोग करके स्कोर किया गया था, और लक्ष्य इस त्रुटि को जितना संभव हो उतना कम करना था। जबकि वास्तविक ग्रेड 1 से 5 की सीमा में पूर्णांक थे, प्रस्तुत भविष्यवाणियों को पूर्णांक होने की आवश्यकता नहीं थी। नेटफ्लिक्स ने प्रशिक्षण डेटा सेट के भीतर 1,408,395 रेटिंग का एक प्रोब उपसमुच्चय भी पहचाना। प्रोब, क्विज़ और परीक्षण डेटा सेट को समान सांख्यिकीय गुणों वाले चुना गया था। संक्षेप में, नेटफ्लिक्स प्राइज़ में उपयोग किया गया डेटा इस प्रकार था: प्रशिक्षण सेट (99,072,112 रेटिंग प्रोब सेट को छोड़कर; 100,480,507 रेटिंग प्रोब सेट सहित), प्रोब सेट (1,408,395 रेटिंग), और योग्यता सेट (2,817,131 रेटिंग) जिसमें परीक्षण सेट (1,408,789 रेटिंग) और क्विज़ सेट (1,408,342 रेटिंग) शामिल थे।

प्रत्येक फिल्म के लिए, शीर्षक और रिलीज़ का वर्ष एक अलग डेटासेट में प्रदान किया गया था, लेकिन उपयोगकर्ताओं के बारे में कोई जानकारी नहीं दी गई थी। ग्राहक गोपनीयता की रक्षा के लिए, प्रशिक्षण और योग्यता सेटों में कुछ ग्राहकों के लिए कुछ रेटिंग डेटा को जानबूझकर रेटिंग हटाकर, वैकल्पिक रेटिंग और तारीखें डालकर, और रेटिंग तिथियों को संशोधित करके बदल दिया गया था। प्रशिक्षण सेट इस तरह से बनाया गया था कि औसत उपयोगकर्ता ने 200 से अधिक फिल्मों को रेट किया, और औसत फिल्म को 5,000 से अधिक उपयोगकर्ताओं द्वारा रेट किया गया था, लेकिन इसमें व्यापक भिन्नता थी: कुछ फिल्मों में केवल 3 रेटिंग थीं, जबकि एक उपयोगकर्ता ने 17,000 से अधिक फिल्मों को रेट किया था। RMSE को परिभाषित मीट्रिक के रूप में चुनने को लेकर कुछ विवाद था, क्योंकि यह दावा किया गया था कि RMSE में 1% सुधार भी किसी उपयोगकर्ता के लिए शीर्ष -10 सबसे अनुशंसित फिल्मों की रैंकिंग में महत्वपूर्ण अंतर ला सकता है।

पुरस्कार

पुरस्कार नेटफ्लिक्स के अपने एल्गोरिदम, जिसे सिनेमैच कहा जाता है, या पिछले वर्ष के स्कोर पर सुधार पर आधारित थे, यदि किसी टीम ने एक निश्चित सीमा से अधिक सुधार किया हो। एक तुच्छ एल्गोरिदम जिसने क्विज़ सेट में प्रत्येक फिल्म के लिए प्रशिक्षण डेटा से उसके औसत ग्रेड की भविष्यवाणी की, उसने 1.0540 का RMSE उत्पन्न किया। सिनेमैच ने बहुत सारे डेटा कंडीशनिंग के साथ सीधे सांख्यिकीय रैखिक मॉडल का उपयोग किया, और इसका प्रदर्शन 2006 तक स्थिर हो गया था। केवल प्रशिक्षण डेटा का उपयोग करके, सिनेमैच ने क्विज़ डेटा पर 0.9514 का RMSE स्कोर किया, जो तुच्छ एल्गोरिदम पर लगभग 10% सुधार था, और परीक्षण सेट पर 0.9525 पर समान प्रदर्शन किया। 1,000,000 अमेरिकी डॉलर का मुख्य पुरस्कार जीतने के लिए, एक भाग लेने वाली टीम को इसमें 10% और सुधार करना था, परीक्षण सेट पर 0.8572 हासिल करना था, जो क्विज़ सेट पर 0.8563 के RMSE के अनुरूप था।

जब तक किसी टीम ने मुख्य पुरस्कार नहीं जीता, तब तक हर साल अब तक के सर्वोत्तम परिणाम के लिए 50,000 अमेरिकी डॉलर का प्रगति पुरस्कार प्रदान किया जाता था। यह पुरस्कार जीतने के लिए, एक एल्गोरिदम को पिछले प्रगति पुरस्कार विजेता (या पहले वर्ष में सिनेमैच पर) की तुलना में क्विज़ सेट पर RMSE में कम से कम 1% सुधार करना था। यदि कोई प्रस्तुति सफल नहीं हुई, तो उस वर्ष के लिए प्रगति पुरस्कार नहीं दिया गया। प्रगति या मुख्य पुरस्कार जीतने के लिए, एक प्रतिभागी को संपर्क किए जाने के एक सप्ताह के भीतर जूरी को स्रोत कोड और एल्गोरिदम का विवरण प्रदान करना था, और सत्यापन के बाद, विजेता को नेटफ्लिक्स को एक गैर-विशिष्ट लाइसेंस भी प्रदान करना था। नेटफ्लिक्स सिस्टम का केवल विवरण प्रकाशित करेगा, स्रोत कोड नहीं। एक टीम अपने एल्गोरिदम और स्रोत कोड को गुप्त रखने के लिए पुरस्कार का दावा नहीं करना चुन सकती थी। जूरी ने अपनी भविष्यवाणियों को अन्य प्रतिभागियों से गुप्त रखा। टीमें जितनी चाहें उतनी ग्रेड भविष्यवाणी के प्रयास भेज सकती थीं, प्रस्तुतियाँ शुरू में सप्ताह में एक बार तक सीमित थीं लेकिन जल्दी ही दिन में एक बार कर दी गईं। एक टीम की अब तक की सर्वश्रेष्ठ प्रस्तुति को उनकी वर्तमान प्रस्तुति माना जाता था।

एक बार जब कोई टीम RMSE में 10% या उससे अधिक सुधार करने में सफल हो जाती थी, तो जूरी एक अंतिम कॉल जारी करती थी, जिससे सभी टीमों को अपनी प्रस्तुतियाँ भेजने के लिए 30 दिन मिलते थे। उसके बाद ही सर्वश्रेष्ठ प्रस्तुति वाली टीम से एल्गोरिदम विवरण, स्रोत कोड और गैर-विशिष्ट लाइसेंस मांगा जाता था, और सफल सत्यापन के बाद, मुख्य पुरस्कार विजेता घोषित किया जाता था। प्रतियोगिता तब तक चलती जब तक मुख्य पुरस्कार विजेता घोषित नहीं हो जाता, लेकिन यदि किसी को मुख्य पुरस्कार नहीं मिला होता, तो यह कम से कम पाँच वर्षों (2 अक्टूबर 2011 तक) तक चलती, जिसके बाद इसे नेटफ्लिक्स के विवेक पर किसी भी समय समाप्त किया जा सकता था।

वर्षों में प्रगति

प्रतियोगिता 2 अक्टूबर 2006 को शुरू हुई। 8 अक्टूबर तक, WXYZConsulting नामक एक टीम ने पहले ही सिनेमैच के परिणामों को पीछे छोड़ दिया था। 15 अक्टूबर तक, तीन टीमें थीं जिन्होंने सिनेमैच को हराया था, उनमें से एक ने 1.06% से, जो वार्षिक प्रगति पुरस्कार के लिए अर्हता प्राप्त करने के लिए पर्याप्त था। जून 2007 तक, 150 से अधिक देशों की 20,000 से अधिक टीमों ने प्रतियोगिता के लिए पंजीकरण किया था, और 2,000 टीमों ने 13,000 से अधिक भविष्यवाणी सेट प्रस्तुत किए थे।

प्रतियोगिता के पहले वर्ष में, मुट्ठी भर अग्रणी टीमों ने पहला स्थान बदला। अधिक प्रमुख लोगों में WXYZConsulting शामिल था, जो वेई ज़ू और यी झांग की एक टीम थी, जो नवंबर और दिसंबर 2006 के दौरान अग्रणी थी; ML@UToronto A, टोरंटो विश्वविद्यालय की एक टीम जिसका नेतृत्व प्रो. जेफ्री हिंटन कर रहे थे, अक्टूबर से दिसंबर 2006 के कुछ हिस्सों के दौरान अग्रणी थी; ग्रेविटी, बुडापेस्ट प्रौद्योगिकी विश्वविद्यालय के चार वैज्ञानिकों की एक टीम, जनवरी से मई 2007 के दौरान अग्रणी थी; और बेल्कोर, एटीएंडटी लैब्स के वैज्ञानिकों का एक समूह, मध्य-2007 से अग्रणी था। प्रतियोगिता में विभिन्न मशीन लर्निंग तकनीकों का अनुप्रयोग देखा गया, जिसमें तंत्रिका नेटवर्क और गहन शिक्षण दृष्टिकोण शामिल थे, जो बाद में कृत्रिम बुद्धिमत्ता के व्यापक क्षेत्र में प्रभावशाली रहे।

विरासत और प्रभाव

नेटफ्लिक्स प्राइज़ ने सहयोगी फ़िल्टरिंग में एन्सेम्बल विधियों और मैट्रिक्स फैक्टराइज़ेशन तकनीकों की प्रभावशीलता का प्रदर्शन किया। इसने अनुशंसा प्रणालियों में महत्वपूर्ण शैक्षणिक और औद्योगिक अनुसंधान को प्रेरित किया, जिसने बाद में जनरेटिव एआई और बड़े पैमाने पर भाषा मॉडल में विकास को प्रभावित किया। प्रतियोगिता ने डेटा साझाकरण में गोपनीयता के मुद्दों के बारे में भी जागरूकता बढ़ाई, क्योंकि शोधकर्ताओं ने बाद में दिखाया कि अनामित डेटा को फिर से पहचाना जा सकता है, जिससे 2010 में एक मुकदमा हुआ और कंपनियों द्वारा उपयोगकर्ता डेटा को संभालने के तरीके में बाद में बदलाव आए। इस पुरस्कार को अक्सर मशीन लर्निंग और क्राउडसोर्स्ड समस्या-समाधान के इतिहास में एक ऐतिहासिक घटना के रूप में उद्धृत किया जाता है, और इसने अन्य डोमेन में समान प्रतियोगिताओं को प्रेरित किया।

निष्कर्ष

नेटफ्लिक्स प्राइज़ 21 सितंबर 2009 को समाप्त हुआ, जब मुख्य पुरस्कार बेल्कोर के प्रैग्मैटिक कैओस को प्रदान किया गया, एक ऐसी टीम जिसने बेल्कोर, प्रैग्मैटिक थ्योरी और बिगकैओस के प्रयासों को संयुक्त किया। विजेता एल्गोरिदम ने परीक्षण सेट पर 0.8567 का RMSE हासिल किया, जो सिनेमैच पर 10.06% सुधार था। प्रतियोगिता ने न केवल अनुशंसा एल्गोरिदम में अत्याधुनिक तकनीक को आगे बढ़ाया, बल्कि खुले नवाचार की क्षमता और डिजिटल युग में डेटा गुणवत्ता और गोपनीयता के महत्व पर भी प्रकाश डाला। इसका प्रभाव स्ट्रीमिंग सेवाओं और ई-कॉमर्स प्लेटफार्मों द्वारा उपयोग की जाने वाली आधुनिक अनुशंसा प्रणालियों में आज भी बना हुआ है।