नेटफ्लिक्स प्राइज़ नेटफ्लिक्स, एक वीडियो स्ट्रीमिंग सेवा, द्वारा आयोजित एक खुली प्रतियोगिता थी, जिसका उद्देश्य पिछली रेटिंग्स के आधार पर फिल्मों के लिए उपयोगकर्ताओं की रेटिंग की भविष्यवाणी करने के लिए सर्वश्रेष्ठ सहयोगात्मक फ़िल्टरिंग एल्गोरिदम विकसित करना था, बिना उपयोगकर्ताओं या फिल्मों के बारे में किसी अन्य जानकारी के। यह प्रतियोगिता 2 अक्टूबर 2006 से चली, जब तक कि 21 सितंबर 2009 को भव्य पुरस्कार प्रदान नहीं किया गया। $1,000,000 का भव्य पुरस्कार टीम बेलकोर के प्राग्मैटिक कैओस ने जीता, जिसने रेटिंग की भविष्यवाणी में नेटफ्लिक्स के अपने एल्गोरिदम, सिनेमैच, पर 10.06% सुधार हासिल किया।
समस्या और डेटा सेट
नेटफ्लिक्स ने 100,480,507 रेटिंग्स का एक प्रशिक्षण डेटा सेट प्रदान किया, जो 480,189 उपयोगकर्ताओं ने 17,770 फिल्मों को दी थीं। प्रत्येक प्रशिक्षण रेटिंग <उपयोगकर्ता, फिल्म, ग्रेड की तारीख, ग्रेड> के रूप का एक चतुर्भुज था, जहाँ उपयोगकर्ता और फिल्म पूर्णांक आईडी थे और ग्रेड 1 से 5 स्टार तक के पूर्णांक थे। योग्यता डेटा सेट में <उपयोगकर्ता, फिल्म, ग्रेड की तारीख> के रूप के 2,817,131 से अधिक त्रिक शामिल थे, जिनके ग्रेड केवल जूरी को ज्ञात थे। एक भाग लेने वाली टीम के एल्गोरिदम को पूरे योग्यता सेट पर ग्रेड की भविष्यवाणी करनी थी, लेकिन उन्हें केवल आधे डेटा के लिए स्कोर के बारे में सूचित किया गया था: 1,408,342 रेटिंग्स का एक क्विज़ सेट। दूसरा आधा 1,408,789 रेटिंग्स का परीक्षण सेट था, जिसका उपयोग जूरी द्वारा संभावित पुरस्कार विजेताओं को निर्धारित करने के लिए किया गया था। केवल न्यायाधीशों को पता था कि कौन सी रेटिंग क्विज़ सेट में थीं और कौन सी परीक्षण सेट में, जिससे परीक्षण सेट पर हिल क्लाइम्बिंग करना मुश्किल हो गया। प्रस्तुत भविष्यवाणियों को रूट मीन स्क्वेयर एरर (RMSE) का उपयोग करके स्कोर किया गया था, जिसका लक्ष्य इस त्रुटि को जितना संभव हो उतना कम करना था। नेटफ्लिक्स ने प्रशिक्षण डेटा सेट के भीतर 1,408,395 रेटिंग्स का एक प्रोब उपसमुच्चय भी पहचाना, जिसे क्विज़ और परीक्षण सेटों के समान सांख्यिकीय गुणों के लिए चुना गया था।
प्रशिक्षण सेट इस तरह से बनाया गया था कि औसत उपयोगकर्ता ने 200 से अधिक फिल्मों को रेट किया, और औसत फिल्म को 5,000 से अधिक उपयोगकर्ताओं द्वारा रेट किया गया। हालाँकि, व्यापक भिन्नता थी: कुछ फिल्मों में केवल 3 रेटिंग्स थीं, जबकि एक उपयोगकर्ता ने 17,000 से अधिक फिल्मों को रेट किया। ग्राहक गोपनीयता की रक्षा के लिए, कुछ ग्राहकों के लिए कुछ रेटिंग डेटा को जानबूझकर रेटिंग हटाकर, वैकल्पिक रेटिंग और तारीखें डालकर, या रेटिंग तिथियों को संशोधित करके बदल दिया गया था। उपयोगकर्ताओं के बारे में पूर्णांक आईडी के अलावा कोई जानकारी प्रदान नहीं की गई थी।
RMSE को परिभाषित मीट्रिक के रूप में चुनने पर कुछ विवाद था। यह दावा किया गया था कि RMSE में 1% का छोटा सुधार भी किसी उपयोगकर्ता के लिए शीर्ष-10 अनुशंसित फिल्मों की रैंकिंग में महत्वपूर्ण अंतर ला सकता है।
पुरस्कार
पुरस्कार नेटफ्लिक्स के अपने एल्गोरिदम, सिनेमैच, पर सुधार पर आधारित थे, या पिछले वर्ष के स्कोर पर यदि किसी टीम ने एक निश्चित सीमा से अधिक सुधार किया था। क्विज़ सेट में प्रत्येक फिल्म के लिए औसत ग्रेड की भविष्यवाणी करने वाला एक तुच्छ एल्गोरिदम 1.0540 का RMSE उत्पन्न करता था। सिनेमैच, जो बहुत सारे डेटा कंडीशनिंग के साथ सीधे सांख्यिकीय रैखिक मॉडल का उपयोग करता था, ने क्विज़ डेटा पर 0.9514 का RMSE स्कोर किया, जो तुच्छ एल्गोरिदम पर लगभग 10% सुधार था। $1,000,000 का भव्य पुरस्कार जीतने के लिए, एक टीम को इसमें और 10% सुधार करना था, परीक्षण सेट पर 0.8572 (क्विज़ सेट पर 0.8563) हासिल करना था।
जब तक किसी टीम ने भव्य पुरस्कार नहीं जीता, तब तक हर साल अब तक के सर्वश्रेष्ठ परिणाम के लिए $50,000 का प्रगति पुरस्कार दिया जाता था, बशर्ते एल्गोरिदम ने पिछले प्रगति पुरस्कार विजेता (या पहले वर्ष में सिनेमैच पर) की तुलना में क्विज़ सेट पर RMSE में कम से कम 1% सुधार किया हो। पुरस्कार का दावा करने के लिए, एक प्रतिभागी को एक सप्ताह के भीतर जूरी को स्रोत कोड और एल्गोरिदम का विवरण प्रदान करना था, और सत्यापन के बाद, नेटफ्लिक्स को एक गैर-विशिष्ट लाइसेंस प्रदान करना था। नेटफ्लिक्स केवल विवरण प्रकाशित करेगा, स्रोत कोड नहीं। टीमें जितनी चाहें उतनी भविष्यवाणियाँ प्रस्तुत कर सकती थीं, शुरू में सप्ताह में एक बार तक सीमित थीं लेकिन बाद में दिन में एक बार कर दिया गया। एक बार जब कोई टीम RMSE में 10% या उससे अधिक सुधार करने में सफल हो गई, तो जूरी ने अंतिम कॉल जारी किया, जिससे सभी टीमों को सबमिशन भेजने के लिए 30 दिन मिले। सर्वश्रेष्ठ सबमिशन वाली टीम से फिर एल्गोरिदम विवरण, स्रोत कोड और लाइसेंस मांगा गया, और सत्यापन के बाद, भव्य पुरस्कार विजेता घोषित किया गया।
प्रतियोगिता तब तक चलती रहेगी जब तक भव्य पुरस्कार विजेता घोषित नहीं हो जाता। यदि कोई नहीं जीतता, तो यह कम से कम पाँच साल (2 अक्टूबर, 2011 तक) चलती, जिसके बाद नेटफ्लिक्स इसे किसी भी समय समाप्त कर सकता था।
वर्षों में प्रगति
प्रतियोगिता 2 अक्टूबर, 2006 को शुरू हुई। 8 अक्टूबर तक, WXYZConsulting नामक एक टीम ने पहले ही सिनेमैच के परिणामों को हरा दिया था। 15 अक्टूबर तक, तीन टीमों ने सिनेमैच को हरा दिया था, एक ने 1.06% से, जो वार्षिक प्रगति पुरस्कार के लिए अर्हता प्राप्त करने के लिए पर्याप्त था। जून 2007 तक, 150 से अधिक देशों की 20,000 से अधिक टीमों ने पंजीकरण किया था, और 2,000 टीमों ने 13,000 से अधिक भविष्यवाणी सेट प्रस्तुत किए थे।
पहले वर्ष में, कई अग्रणी टीमों ने पहला स्थान बदला, जिनमें शामिल हैं:
- WXYZConsulting, वेई ज़ू और यी झांग की एक टीम (नवंबर-दिसंबर 2006 के दौरान अग्रणी)।
- ML@UToronto A, टोरंटो विश्वविद्यालय की एक टीम जिसका नेतृत्व प्रो. जेफ्री हिंटन ने किया (अक्टूबर-दिसंबर 2006 के कुछ हिस्सों के दौरान अग्रणी)।
- ग्रैविटी, बुडापेस्ट प्रौद्योगिकी विश्वविद्यालय के चार वैज्ञानिकों की एक टीम (जनवरी-मई 2007 के दौरान अग्रणी)।
- बेलकोर, एटी एंड टी लैब्स के वैज्ञानिकों का एक समूह (2007 से अग्रणी)।
इन टीमों ने अक्सर RMSE में वृद्धिशील सुधार निकालने के लिए मशीन लर्निंग तकनीकों का उपयोग किया, जिनमें तंत्रिका नेटवर्क और एन्सेम्बल विधियाँ शामिल थीं।
विजेता एल्गोरिदम और परिणाम
विजेता टीम, बेलकोर के प्राग्मैटिक कैओस, तीन प्रमुख टीमों का विलय थी: बेलकोर (एटी एंड टी लैब्स से), प्राग्मैटिक थ्योरी, और कैओस। उनके एल्गोरिदम ने कई भविष्य कहने वाले मॉडलों को संयुक्त किया, जिनमें मैट्रिक्स फैक्टराइज़ेशन और प्रतिबंधित बोल्ट्ज़मैन मशीनें शामिल थीं, और भविष्यवाणियों को संयोजित करने के लिए ब्लेंडिंग का उपयोग किया। टीम ने परीक्षण सेट पर सिनेमैच पर 10.06% सुधार हासिल किया, अंतिम सबमिशन समय सीमा में उपविजेता टीम द एन्सेम्बल को केवल 20 मिनट से हराकर।
नेटफ्लिक्स प्राइज़ ने वास्तविक दुनिया के अनुप्रयोगों में सहयोगात्मक फ़िल्टरिंग और मशीन लर्निंग की शक्ति का प्रदर्शन किया, और इसने अनुशंसा प्रणालियों में महत्वपूर्ण शोध को प्रेरित किया। प्रतियोगिता ने गोपनीयता संबंधी चिंताओं को भी उठाया, जिससे मुकदमे और नेटफ्लिक्स द्वारा उपयोगकर्ता डेटा को संभालने के तरीके में बदलाव आए। प्रतियोगिता के दौरान विकसित तकनीकों ने डीप लर्निंग और जनरेटिव एआई में बाद के विकास को प्रभावित किया, क्योंकि क्षेत्र पारंपरिक मशीन लर्निंग से अधिक परिष्कृत ट्रांसफॉर्मर-आधारित मॉडलों की ओर विकसित हुआ।