Der Netflix Prize war ein offener Wettbewerb, der von Netflix, einem Video-Streaming-Dienst, veranstaltet wurde, um den besten kollaborativen Filteralgorithmus zur Vorhersage von Nutzerbewertungen für Filme zu entwickeln. Der am 2. Oktober 2006 gestartete Wettbewerb bot einen Hauptpreis von 1.000.000 US-Dollar für jedes Team, das Netflix' eigenen Empfehlungsalgorithmus Cinematch um 10 % in der Wurzel der mittleren quadratischen Abweichung (RMSE) verbessern konnte. Der Wettbewerb stand allen offen, die nicht mit Netflix verbunden waren und nicht in bestimmten gesperrten Ländern wie Kuba oder Nordkorea lebten. Am 21. September 2009 wurde der Hauptpreis dem Team BellKor's Pragmatic Chaos verliehen, das eine Verbesserung von 10,06 % gegenüber Cinematch erzielte.
Der Wettbewerb war ein Meilenstein im Bereich des maschinellen Lernens, demonstrierte die Leistungsfähigkeit von Ensemble-Methoden und weckte breites Interesse an Techniken des kollaborativen Filterns. Er bot einen einzigartigen, groß angelegten Datensatz und ein klares Ziel, was über 20.000 Teams aus mehr als 150 Ländern anzog.
Problem und Datensätze
Netflix stellte einen Trainingsdatensatz mit 100.480.507 Bewertungen bereit, die 480.189 Nutzer für 17.770 Filme abgaben. Jede Trainingsbewertung war ein Quadrupel der Form <Nutzer, Film, Bewertungsdatum, Note>, wobei Nutzer und Film ganzzahlige IDs waren und die Noten ganze Zahlen von 1 bis 5. Der Qualifizierungsdatensatz enthielt über 2.817.131 Tripel der Form <Nutzer, Film, Bewertungsdatum>, wobei die Noten nur der Jury bekannt waren. Der Algorithmus eines teilnehmenden Teams musste Noten für den gesamten Qualifizierungssatz vorhersagen, aber das Team wurde nur über die Punktzahl für die Hälfte der Daten informiert: einen Quiz-Satz mit 1.408.342 Bewertungen. Die andere Hälfte, der Testsatz mit 1.408.789 Bewertungen, wurde von der Jury zur Bestimmung der Preisträger verwendet. Nur die Richter wussten, welche Bewertungen im Quiz-Satz und welche im Testsatz waren, was es schwierig machte, auf dem Testsatz zu überanpassen.
Eingereichte Vorhersagen wurden mit den tatsächlichen Noten unter Verwendung des RMSE bewertet, und das Ziel war es, diesen Fehler so weit wie möglich zu reduzieren. Netflix identifizierte auch eine Probe-Teilmenge von 1.408.395 Bewertungen innerhalb des Trainingsdatensatzes, die so gewählt wurde, dass sie ähnliche statistische Eigenschaften wie die Quiz- und Testsätze aufwies. Der Trainingssatz wurde so konstruiert, dass der durchschnittliche Nutzer über 200 Filme bewertete und der durchschnittliche Film von über 5.000 Nutzern bewertet wurde, aber es gab eine große Varianz: Einige Filme hatten nur 3 Bewertungen, während ein Nutzer über 17.000 Filme bewertete. Zum Schutz der Privatsphäre der Kunden wurden einige Bewertungsdaten absichtlich verändert, indem Bewertungen gelöscht, alternative Bewertungen und Daten eingefügt oder Bewertungsdaten modifiziert wurden.
Es gab einige Kontroversen über die Wahl des RMSE als definierende Metrik, da behauptet wurde, dass selbst eine 1%ige Verbesserung des RMSE die Rangliste der Top-10-Empfehlungen für einen Nutzer erheblich beeinflussen könnte.
Preise
Die Preise basierten auf der Verbesserung gegenüber Netflix' eigenem Algorithmus Cinematch oder gegenüber der Punktzahl des Vorjahres, wenn ein Team über eine bestimmte Schwelle hinaus verbessert hatte. Ein trivialer Algorithmus, der die durchschnittliche Note jedes Films vorhersagte, erzielte einen RMSE von 1,0540 auf dem Quiz-Satz. Cinematch, das einfache statistische lineare Modelle mit viel Datenkonditionierung verwendete, erzielte einen RMSE von 0,9514 auf den Quiz-Daten, was einer Verbesserung von etwa 10 % gegenüber dem trivialen Algorithmus entspricht. Um den Hauptpreis zu gewinnen, musste ein Team einen RMSE von 0,8572 auf dem Testsatz erreichen, eine 10%ige Verbesserung gegenüber Cinematch.
Solange kein Team den Hauptpreis gewann, wurde jedes Jahr ein Fortschrittspreis von 50.000 US-Dollar für das beste Ergebnis vergeben, sofern der Algorithmus den RMSE auf dem Quiz-Satz um mindestens 1 % gegenüber dem vorherigen Fortschrittspreisgewinner (oder im ersten Jahr gegenüber Cinematch) verbesserte. Um einen Preis zu beanspruchen, musste ein Teilnehmer innerhalb einer Woche Quellcode und eine Beschreibung des Algorithmus an die Jury liefern und nach der Verifizierung eine nicht-exklusive Lizenz an Netflix erteilen. Netflix veröffentlichte nur die Beschreibung, nicht den Quellcode. Teams konnten so viele Vorhersagesätze einreichen, wie sie wollten, zunächst einmal pro Woche, später einmal pro Tag. Sobald ein Team eine 10%ige Verbesserung erreichte, gab die Jury einen letzten Aufruf heraus, der allen Teams 30 Tage Zeit gab, ihre endgültigen Beiträge einzureichen. Der Wettbewerb würde dauern, bis der Hauptpreisgewinner erklärt wurde, wäre aber nach Ermessen von Netflix nach mindestens fünf Jahren (bis zum 2. Oktober 2011) beendet worden, wenn kein Gewinner aufgetaucht wäre.
Fortschritt im Laufe der Jahre
Der Wettbewerb begann am 2. Oktober 2006. Bis zum 8. Oktober hatte ein Team namens WXYZConsulting bereits Cinematchs Ergebnisse übertroffen. Bis zum 15. Oktober hatten drei Teams Cinematch geschlagen, eines um 1,06 %, was ausreichte, um sich für den jährlichen Fortschrittspreis zu qualifizieren. Bis Juni 2007 hatten sich über 20.000 Teams aus über 150 Ländern registriert, und 2.000 Teams hatten über 13.000 Vorhersagesätze eingereicht.
Im ersten Jahr wechselten sich mehrere Spitzenreiter an der Spitze ab, darunter WXYZConsulting (Wei Xu und Yi Zhang), ML@UToronto A von der Universität Toronto unter der Leitung von Prof. Geoffrey Hinton, Gravity von der Budapester Universität für Technologie und BellKor von AT&T Labs. Diese Teams verwendeten eine Vielzahl von Techniken, darunter Matrix-Faktorisierung, Ensemble-Lernen und neuronale Netze, wobei sie oft mehrere Modelle kombinierten, um inkrementelle Verbesserungen zu erzielen.
Auswirkungen und Vermächtnis
Der Netflix Prize hatte einen bedeutenden Einfluss auf das Gebiet der Empfehlungssysteme und des maschinellen Lernens. Er demonstrierte die Wirksamkeit der Kombination vieler Vorhersagemodelle, um modernste Ergebnisse zu erzielen, eine Technik, die in der Industrie weit verbreitet wurde. Der Wettbewerb hob auch die Bedeutung des Data-Minings auf großen, realen Datensätzen hervor und förderte die Forschung zu Algorithmen des kollaborativen Filterns. Das Siegerteam, BellKor's Pragmatic Chaos, kombinierte über 100 verschiedene Modelle, darunter eingeschränkte Boltzmann-Maschinen und Varianten der Matrix-Faktorisierung, um die endgültige Verbesserung von 10,06 % zu erreichen.
Der Wettbewerb schärfte auch das Bewusstsein für Datenschutzfragen bei der gemeinsamen Nutzung von Daten, da Netflix später mit einer Klage über die Veröffentlichung des Datensatzes konfrontiert wurde, der möglicherweise Nutzer identifizieren konnte. Trotz dieser Bedenken bleibt der Netflix Prize ein Maßstab in der Geschichte der künstlichen Intelligenz und der Datenwissenschaft, inspirierte ähnliche Wettbewerbe und trug zur Entwicklung moderner Empfehlungssysteme bei, die von Streaming-Diensten und E-Commerce-Plattformen verwendet werden.
Siehe auch
- maschinelles Lernen
- kollaboratives Filtern
- Empfehlungssysteme
- Data-Mining