Der Netflix Prize war ein offener Wettbewerb, der von Netflix, einem Video-Streaming-Dienst, veranstaltet wurde, um den besten kollaborativen Filteralgorithmus zur Vorhersage von Nutzerbewertungen für Filme zu entwickeln. Der Wettbewerb lief vom 2. Oktober 2006 bis zum 21. September 2009 und stand allen offen, die nicht mit Netflix verbunden waren (einschließlich aktueller und ehemaliger Mitarbeiter sowie deren enger Verwandter) und nicht in bestimmten gesperrten Ländern wie Kuba oder Nordkorea lebten. Der Hauptpreis von 1.000.000 US-Dollar wurde dem Team BellKor's Pragmatic Chaos verliehen, das eine Verbesserung von 10,06 % gegenüber Netflix' eigenem Algorithmus Cinematch bei der Vorhersage von Bewertungen erzielte.
Problem und Datensätze
Netflix stellte einen Trainingsdatensatz mit 100.480.507 Bewertungen bereit, die 480.189 Nutzer für 17.770 Filme abgegeben hatten. Jede Trainingsbewertung war ein Quadrupel der Form <Nutzer, Film, Bewertungsdatum, Bewertung>, wobei Nutzer und Film ganzzahlige IDs waren und die Bewertungen ganze Zahlen von 1 bis 5 Sternen umfassten. Der Qualifikationsdatensatz enthielt über 2.817.131 Tripel der Form <Nutzer, Film, Bewertungsdatum>, wobei die Bewertungen nur der Jury bekannt waren. Der Algorithmus eines teilnehmenden Teams musste Bewertungen für den gesamten Qualifikationsdatensatz vorhersagen, aber die Teams erhielten nur für die Hälfte der Daten eine Rückmeldung über ihre Punktzahl: einen Quiz-Datensatz mit 1.408.342 Bewertungen. Die andere Hälfte, der Testdatensatz mit 1.408.789 Bewertungen, wurde von der Jury verwendet, um potenzielle Gewinner zu ermitteln. Nur die Juroren wussten, welche Bewertungen im Quiz-Datensatz und welche im Testdatensatz enthalten waren, eine Anordnung, die es erschweren sollte, den Testdatensatz gezielt zu optimieren (Hill Climbing).
Die eingereichten Vorhersagen wurden anhand der tatsächlichen Bewertungen mit dem mittleren quadratischen Fehler (Root Mean Squared Error, RMSE) bewertet, und das Ziel war es, diesen Fehler so weit wie möglich zu reduzieren. Während die tatsächlichen Bewertungen ganze Zahlen im Bereich von 1 bis 5 waren, mussten die eingereichten Vorhersagen dies nicht sein. Netflix identifizierte außerdem eine Teilmenge von 1.408.395 Bewertungen innerhalb des Trainingsdatensatzes als Probe-Subset. Die Probe-, Quiz- und Testdatensätze wurden so ausgewählt, dass sie ähnliche statistische Eigenschaften aufwiesen. Zusammenfassend bestanden die im Netflix Prize verwendeten Daten aus: Trainingsdatensatz (99.072.112 Bewertungen ohne das Probe-Subset; 100.480.507 Bewertungen einschließlich des Probe-Subsets), Probe-Subset (1.408.395 Bewertungen) und Qualifikationsdatensatz (2.817.131 Bewertungen), bestehend aus Testdatensatz (1.408.789 Bewertungen) und Quiz-Datensatz (1.408.342 Bewertungen).
Für jeden Film wurden Titel und Erscheinungsjahr in einem separaten Datensatz bereitgestellt, aber es wurden keine Informationen über die Nutzer gegeben. Um die Privatsphäre der Kunden zu schützen, wurden einige Bewertungsdaten bestimmter Kunden in den Trainings- und Qualifikationsdatensätzen absichtlich verändert, indem Bewertungen gelöscht, alternative Bewertungen und Daten eingefügt sowie Bewertungsdaten modifiziert wurden. Der Trainingsdatensatz wurde so konstruiert, dass der durchschnittliche Nutzer über 200 Filme bewertete und der durchschnittliche Film von über 5.000 Nutzern bewertet wurde, aber es gab eine große Varianz: Einige Filme hatten nur 3 Bewertungen, während ein Nutzer über 17.000 Filme bewertete. Es gab einige Kontroversen über die Wahl des RMSE als definierende Metrik, da behauptet wurde, dass selbst eine Verbesserung von 1 % beim RMSE einen signifikanten Unterschied in der Rangfolge der Top-10-Empfehlungen für einen Nutzer bewirken könnte.
Preise
Die Preise basierten auf der Verbesserung gegenüber Netflix' eigenem Algorithmus Cinematch oder der Punktzahl des Vorjahres, sofern ein Team eine Verbesserung über einen bestimmten Schwellenwert hinaus erzielte. Ein trivialer Algorithmus, der für jeden Film im Quiz-Datensatz dessen Durchschnittsbewertung aus den Trainingsdaten vorhersagte, erzielte einen RMSE von 1,0540. Cinematch verwendete einfache statistische lineare Modelle mit umfangreicher Datenaufbereitung, und seine Leistung hatte sich bis 2006 stabilisiert. Mit nur den Trainingsdaten erzielte Cinematch einen RMSE von 0,9514 auf den Quiz-Daten, was etwa einer Verbesserung von 10 % gegenüber dem trivialen Algorithmus entsprach, und eine ähnliche Leistung auf dem Testdatensatz mit 0,9525. Um den Hauptpreis von 1.000.000 US-Dollar zu gewinnen, musste ein teilnehmendes Team dies um weitere 10 % verbessern, was einem RMSE von 0,8572 auf dem Testdatensatz entsprach, was wiederum einem RMSE von 0,8563 auf dem Quiz-Datensatz entsprach.
Solange kein Team den Hauptpreis gewann, wurde jedes Jahr ein Fortschrittspreis von 50.000 US-Dollar für das beste Ergebnis des jeweiligen Jahres vergeben. Um diesen Preis zu gewinnen, musste ein Algorithmus den RMSE auf dem Quiz-Datensatz um mindestens 1 % gegenüber dem vorherigen Fortschrittspreisgewinner (oder im ersten Jahr gegenüber Cinematch) verbessern. Wenn keine Einreichung erfolgreich war, wurde der Fortschrittspreis in diesem Jahr nicht vergeben. Um einen Fortschritts- oder Hauptpreis zu gewinnen, musste ein Teilnehmer innerhalb einer Woche nach Kontaktaufnahme den Quellcode und eine Beschreibung des Algorithmus der Jury zur Verfügung stellen, und nach erfolgreicher Überprüfung musste der Gewinner außerdem eine nicht-exklusive Lizenz an Netflix vergeben. Netflix veröffentlichte nur die Beschreibung des Systems, nicht den Quellcode. Ein Team konnte wählen, keinen Preis zu beanspruchen, um seinen Algorithmus und Quellcode geheim zu halten. Die Jury hielt ihre Vorhersagen vor anderen Teilnehmern geheim. Teams konnten so viele Versuche zur Vorhersage der Bewertungen einreichen, wie sie wollten, wobei die Einreichungen ursprünglich auf einmal pro Woche begrenzt waren, aber schnell auf einmal pro Tag geändert wurden. Die beste Einreichung eines Teams bis zu einem bestimmten Zeitpunkt zählte als seine aktuelle Einreichung.
Sobald ein Team eine Verbesserung des RMSE um 10 % oder mehr erreichte, gab die Jury eine letzte Aufforderung heraus, die allen Teams 30 Tage Zeit gab, ihre Einreichungen zu senden. Erst dann wurde das Team mit der besten Einreichung um die Beschreibung des Algorithmus, den Quellcode und die nicht-exklusive Lizenz gebeten, und nach erfolgreicher Überprüfung zum Gewinner des Hauptpreises erklärt. Der Wettbewerb sollte so lange dauern, bis der Hauptpreis vergeben war, aber falls niemand den Hauptpreis gewann, hätte er mindestens fünf Jahre gedauert (bis zum 2. Oktober 2011), danach hätte er jederzeit nach alleinigem Ermessen von Netflix beendet werden können.
Fortschritt im Wettbewerb
Der Wettbewerb begann am 2. Oktober 2006. Bereits am 8. Oktober hatte ein Team namens WXYZConsulting die Ergebnisse von Cinematch übertroffen. Bis zum 15. Oktober gab es drei Teams, die Cinematch geschlagen hatten, eines davon mit einer Verbesserung von 1,06 %, was ausreichte, um sich für den jährlichen Fortschrittspreis zu qualifizieren. Bis Juni 2007 hatten sich über 20.000 Teams aus über 150 Ländern registriert, und 2.000 Teams hatten über 13.000 Vorhersagesätze eingereicht.
Im ersten Jahr des Wettbewerbs wechselten sich mehrere Spitzenteams an der Spitze ab. Zu den prominenteren gehörten WXYZConsulting, ein Team von Wei Xu und Yi Zhang, das im November und Dezember 2006 führend war; ML@UToronto A, ein Team der University of Toronto unter der Leitung von Prof. Geoffrey Hinton, das in Teilen von Oktober bis Dezember 2006 führend war; Gravity, ein Team von vier Wissenschaftlern der Budapester Universität für Technologie und Wirtschaft, das von Januar bis Mai 2007 führend war; und BellKor, eine Gruppe von Wissenschaftlern von AT&T Labs, die ab Mitte 2007 führend war. Im Wettbewerb wurden verschiedene Maschinenlern-Techniken angewendet, darunter neuronale Netze und Deep-Learning-Ansätze, die später im weiteren Bereich der künstlichen Intelligenz einflussreich wurden.
Vermächtnis und Auswirkungen
Der Netflix Prize demonstrierte die Wirksamkeit von Ensemble-Methoden und Matrixfaktorisierungstechniken beim kollaborativen Filtern. Er regte bedeutende akademische und industrielle Forschung auf dem Gebiet der Empfehlungssysteme an und beeinflusste spätere Entwicklungen bei generativer KI und großen Sprachmodellen. Der Wettbewerb machte auch auf Datenschutzfragen beim Teilen von Daten aufmerksam, da Forscher später zeigten, dass die anonymisierten Daten wieder identifiziert werden konnten, was zu einer Klage im Jahr 2010 und anschließenden Änderungen im Umgang von Unternehmen mit Nutzerdaten führte. Der Preis wird oft als Meilenstein in der Geschichte des maschinellen Lernens und der Crowdsourcing-Problemlösung bezeichnet und inspirierte ähnliche Wettbewerbe in anderen Bereichen.
Fazit
Der Netflix Prize endete am 21. September 2009, als der Hauptpreis an BellKor's Pragmatic Chaos verliehen wurde, ein Team, das die Anstrengungen von BellKor, Pragmatic Theory und BigChaos kombinierte. Der siegreiche Algorithmus erreichte einen RMSE von 0,8567 auf dem Testdatensatz, was einer Verbesserung von 10,06 % gegenüber Cinematch entspricht. Der Wettbewerb verbesserte nicht nur den Stand der Technik bei Empfehlungsalgorithmen, sondern zeigte auch das Potenzial offener Innovation und die Bedeutung von Datenqualität und Datenschutz im digitalen Zeitalter auf. Sein Einfluss ist bis heute in modernen Empfehlungssystemen von Streaming-Diensten und E-Commerce-Plattformen spürbar.