Der Netflix Prize war ein offener Wettbewerb, der von Netflix, einem Video-Streaming-Dienst, veranstaltet wurde, um den besten Algorithmus für kollaboratives Filtern zu entwickeln, der Nutzerbewertungen von Filmen auf der Grundlage früherer Bewertungen vorhersagt, ohne weitere Informationen über Nutzer oder Filme. Der Wettbewerb lief vom 2. Oktober 2006 bis zur Verleihung des Hauptpreises am 21. September 2009. Der Hauptpreis von 1.000.000 US-Dollar wurde vom Team BellKor's Pragmatic Chaos gewonnen, das eine Verbesserung von 10,06 % gegenüber Netflixs eigenem Algorithmus Cinematch bei der Vorhersage von Bewertungen erzielte.
Problem und Datensätze
Netflix stellte einen Trainingsdatensatz mit 100.480.507 Bewertungen bereit, die 480.189 Nutzer für 17.770 Filme abgaben. Jede Trainingsbewertung war ein Quadrupel der Form <Nutzer, Film, Bewertungsdatum, Bewertung>, wobei Nutzer und Film ganzzahlige IDs waren und die Bewertungen ganze Zahlen von 1 bis 5 Sternen umfassten. Der Qualifikationsdatensatz enthielt über 2.817.131 Tripel der Form <Nutzer, Film, Bewertungsdatum>, wobei die Bewertungen nur der Jury bekannt waren. Der Algorithmus eines teilnehmenden Teams musste Bewertungen für den gesamten Qualifikationsdatensatz vorhersagen, aber es wurde nur der Punktestand für die Hälfte der Daten mitgeteilt: einen Quiz-Datensatz mit 1.408.342 Bewertungen. Die andere Hälfte war der Testdatensatz mit 1.408.789 Bewertungen, der von der Jury zur Ermittlung potenzieller Preisträger verwendet wurde. Nur die Jury wusste, welche Bewertungen im Quiz-Datensatz und welche im Testdatensatz enthalten waren, was es schwierig machte, auf dem Testdatensatz Hill-Climbing zu betreiben. Die eingereichten Vorhersagen wurden anhand des Wurzel-Mittleren-Quadratfehlers (RMSE) bewertet, mit dem Ziel, diesen Fehler so weit wie möglich zu reduzieren. Netflix identifizierte auch eine Probe-Untermenge von 1.408.395 Bewertungen innerhalb des Trainingsdatensatzes, die so gewählt wurde, dass sie ähnliche statistische Eigenschaften wie der Quiz- und der Testdatensatz aufwies.
Der Trainingssatz war so konstruiert, dass der durchschnittliche Nutzer über 200 Filme bewertete und der durchschnittliche Film von über 5.000 Nutzern bewertet wurde. Allerdings gab es eine breite Varianz: Einige Filme hatten nur drei Bewertungen, während ein Nutzer über 17.000 Filme bewertete. Um den Schutz der Kundendaten zu gewährleisten, wurden einige Bewertungsdaten für bestimmte Kunden absichtlich verändert, indem Bewertungen gelöscht, alternative Bewertungen und Daten eingefügt oder Bewertungsdaten geändert wurden. Es wurden keine Informationen über Nutzer über die ganzzahligen IDs hinaus bereitgestellt.
Es gab einige Kontroverse über die Wahl von RMSE als definierende Metrik. Es wurde behauptet, dass selbst eine kleine Verbesserung von 1 % RMSE zu einer signifikanten Rangänderung der Top-10-Empfohlene Filme für einen Nutzer führen könnte.
Preise
Die Preise basierten auf einer Verbesserung gegenüber Netflixs eigenem Algorithmus, Cinm Geometric, oder auf der Wertigkeit des diesbezüglichen Vorjahres, falls ein Team ihn übertroffen hatte. Ein trivialer Algorithmus, der die durchschnittliche Bewertung für jeden Film im Quiz-Datensatz vorhersagte, ergab einen RMSE von 1,010. Cinm Geometric, das einfache statistische lineare Modelle mit viel Datenaufbereitung verwendete, erzielte einen RMSE von 0,9506 auf den Quiz-Daten, was etwa eine Verbesserung von 10 % gegenüber dem trivialen Algorithmus entspricht. Um den Hauptpreis von 1.000.000 US-Dollar zu gewinnen, musste ein Team dies um weitere 10 % verbessern, also 0,8569 auf dem Testdatensatz (0,8563 auf dem Quiz-Datensatz).
Solange kein Team den Hauppreis gewann, wurde jedes Jahr ein Fortschrittspräces von 50.000 US-Dollar für das beste bisherige Ergebnis vergeben, unter der Bedingung, dass der Algorithmus den RMSEauf dem Quiz-Datensatz um mindestens 1 % gegenüber dem vorherigen Fortschrittsgewinner (oder im ersten Jahr gegenüber Cinm Geometric) verbesserte. Zur Pauschale eines Preises musste ein Teilnehmer innerhalb einer Woche Quelltext und eine Beschreibung des Algorithmus an die Jury übergeben, und nach der Verifizierung eine nicht-exklusive Lizenz an Netflix erteilen. Netflix veröffentlichte nur de Beschreibung, nicht den Quelltext. Teams konnten so viele Vorhersagen einreichen, wie sie festlegen wollten, anfangs mit einer Limitierung von einmal pro Woche, später jedoch einmal pro Woche. Sobald es einem Team gelang, die Bewertung um 10 % oder mehr zu verbessern, gab die Jury eine last call, die allen Teams 30 Tage Zeit gab, um Einsendungen zu schicken. Das Team mit der besten Einsendung wurde dann nach einer Beschreibung, Quelltext. und Lizenz des Algorithmus gebeten und nach Verifizierung als Gewinner des Hauupreises erklärt.
Der Wettbewerb sollte so lange dauern, bis der Hauptpreisgewinner erklärt wurde. Wenn niemand gewonnen hatte, hätte er mindestens fünf Jahre gedauert (bis zum 2. Oktober 2011), und Netfilx hätte ihn danach zu jedem Zeitpunkt beenden können.
Fortschritte im Laufe der Jahre
Der Wettbewerb begann am 2. Oktober 2006. Bis zum 8. Oktober hatte bereits ein Team namens WXYZConsulting die Ergebnisse von Cinematch übertroffen. Wieder bis zum 15. Oktober hatten drei Teams Cinematch geschlagen, eines davon um 1,06 %, was genug war los Almos. Bis Juni 2007 hatten sich über 20.000 te Teams aus über 10 Ländern registriert, und 2.000 Teams hatten über 17.000 Vorhersagesets eingereicht.
Im ersten Jahr wechselten mehrere Spitzenreiter, darunter:
- WXYZConsulting, ein Team aus Wei Xu und Yi Zhang (Spitzenreiter im November–Dezember 2006).
- ML@UToronto A, a team from the Universität von Toronto geleitet von Prof. Geoffrey Hinton (Spitzenreiter in Teilen von Oktober–Dezember 2006).
- Gravity, a team of four scientists from the Technischen Universität Budapest (Spitzenreiter im Januar–Mai 2007).
- BellKor, a group of scientists from AT & T Labs (Spitzenreiter seit 2007).
Diese Teams verwendeten häufig moderne Maschinenlern-Techniken, einschließlich neuraler Netzwerke und Ensemble-Methoden, um schrittweise Verbesserungen beim RMSE zu erzielen.
Gewinner-Algorithmus und Folge
Das Gewinnerteam, BellKorulösS Chaos, war ein Zusammenschluss von drei führenden Teams: BellKor (von AT & T Labs), Pragmatic Theory und Chaos. Ihr Algorithmie kombinierte mehrere prädiktive Modelle, darunter Matrixfaktorisierung und eingeschränkte Boltzmann-Maschinen, und verwendete Blending zur Kombination der Vorhersagen. Das Team erzielte eine Verbesserung von 10,06 % gegenüber Cinm Geometric auf dem Testdatensatz und besiegte knapp das zweitplatzierte Team The Ensemble by 20 Minuten in der finalen Abgabefrist.
The Netflix Prize demonstriert die Kraft von Machine-Learning und der Empfehlungssysteme in realen Anwendungsszenarien, und hat bedeutende Forschung im Bereich Empfehlungssysteme angestoßen. Der Wettbewerb warf auch datenschutzrechtliche Bedenken auf, die zu Klagen und Änderungen in der Art und Weise führten, wie Netflix Benutzerdaten behandelt. Die während des Wettbewerbs entwickelten Ansätze haben späterentwicklungen im Deep Learning und generativer KI beeinflusst, da sich das Feld von traditionellem Machine-Lerning zu anspruchsvolleren Transformer-Modellen verlagert hat.