Le Netflix Prize était une compétition ouverte organisée par Netflix, un service de streaming vidéo, visant à développer le meilleur algorithme de filtrage collaboratif pour prédire les notes attribuées par les utilisateurs aux films, en se basant sur les notes précédentes, sans aucune autre information sur les utilisateurs ou les films. La compétition s'est déroulée du 2 octobre 2006 jusqu'à l'attribution du grand prix le 21 septembre 2009. Le grand prix d'un million de dollars a été remporté par l'équipe BellKor's Pragmatic Chaos, qui a obtenu une amélioration de 10,06 % par rapport à l'algorithme propre de Netflix, Cinematch, dans la prédiction des notes.
Problème et ensembles de données
Netflix a fourni un ensemble de données d'entraînement comprenant 100 480 507 notes que 480 189 utilisateurs ont attribuées à 17 770 films. Chaque note d'entraînement était un quadruplet de la forme <utilisateur, film, date de la note, note>, où l'utilisateur et le film étaient des identifiants entiers et les notes étaient des entiers de 1 à 5 étoiles. L'ensemble de données de qualification contenait plus de 2 817 131 triplets de la forme <utilisateur, film, date de la note>, avec des notes connues uniquement du jury. L'algorithme d'une équipe participante devait prédire les notes sur l'ensemble de qualification entier, mais l'équipe n'était informée du score que pour la moitié des données : un ensemble de quiz de 1 408 342 notes. L'autre moitié était l'ensemble de test de 1 408 789 notes, utilisé par le jury pour déterminer les potentiels gagnants du prix. Seuls les juges savaient quelles notes se trouvaient dans l'ensemble de quiz et lesquelles dans l'ensemble de test, ce qui rendait difficile l'optimisation sur l'ensemble de test. Les prédictions soumises étaient évaluées à l'aide de l'erreur quadratique moyenne (RMSE), avec pour objectif de réduire cette erreur autant que possible. Netflix a également identifié un sous-ensemble de sonde de 1 408 395 notes au sein de l'ensemble de données d'entraînement, choisi pour avoir des propriétés statistiques similaires aux ensembles de quiz et de test.
L'ensemble d'entraînement a été construit de telle sorte que l'utilisateur moyen a noté plus de 200 films, et que le film moyen a été noté par plus de 5 000 utilisateurs. Cependant, il y avait une grande variance : certains films avaient aussi peu que 3 notes, tandis qu'un utilisateur a noté plus de 17 000 films. Pour protéger la confidentialité des clients, certaines données de notation pour certains clients ont été délibérément perturbées en supprimant des notes, en insérant des notes et des dates alternatives, ou en modifiant les dates des notes. Aucune information sur les utilisateurs n'a été fournie au-delà des identifiants entiers.
Il y a eu une certaine controverse sur le choix de la RMSE comme métrique définissant la compétition. Il a été affirmé que même une petite amélioration de 1 % de la RMSE pourrait entraîner une différence significative dans le classement des 10 meilleurs films recommandés pour un utilisateur.
Prix
Les prix étaient basés sur l'amélioration par rapport à l'algorithme propre de Netflix, Cinematch, ou sur le score de l'année précédente si une équipe avait amélioré au-delà d'un certain seuil. Un algorithme trivial prédisant la note moyenne pour chaque film dans l'ensemble de quiz produisait une RMSE de 1,0540. Cinematch, qui utilisait des modèles linéaires statistiques simples avec beaucoup de conditionnement des données, obtenait une RMSE de 0,9514 sur les données de quiz, soit environ 10 % d'amélioration par rapport à l'algorithme trivial. Pour gagner le grand prix d'un million de dollars, une équipe devait améliorer cela de 10 % supplémentaires, atteignant 0,8572 sur l'ensemble de test (0,8563 sur l'ensemble de quiz).
Tant qu'aucune équipe ne gagnait le grand prix, un prix de progression de 50 000 dollars était décerné chaque année pour le meilleur résultat jusqu'alors, à condition que l'algorithme améliore la RMSE sur l'ensemble de quiz d'au moins 1 % par rapport au précédent gagnant du prix de progression (ou par rapport à Cinematch la première année). Pour réclamer un prix, un participant devait fournir le code source et une description de l'algorithme au jury dans un délai d'une semaine, et après vérification, fournir une licence non exclusive à Netflix. Netflix ne publierait que la description, pas le code source. Les équipes pouvaient soumettre autant de prédictions qu'elles le souhaitaient, initialement limitées à une fois par semaine, puis changées à une fois par jour. Une fois qu'une équipe réussissait à améliorer la RMSE de 10 % ou plus, le jury lançait un dernier appel, donnant à toutes les équipes 30 jours pour envoyer leurs soumissions. L'équipe avec la meilleure soumission était alors invitée à fournir la description de l'algorithme, le code source et la licence, et après vérification, déclarée gagnante du grand prix.
Le concours durerait jusqu'à ce que le gagnant du grand prix soit déclaré. Si personne n'avait gagné, il aurait duré au moins cinq ans (jusqu'au 2 octobre 2011), après quoi Netflix aurait pu le terminer à tout moment.
Progression au fil des années
La compétition a commencé le 2 octobre 2006. Dès le 8 octobre, une équipe appelée WXYZConsulting avait déjà battu les résultats de Cinematch. Le 15 octobre, trois équipes avaient battu Cinematch, l'une par 1,06 %, assez pour se qualifier pour le prix de progression annuel. En juin 2007, plus de 20 000 équipes de plus de 150 pays s'étaient inscrites, et 2 000 équipes avaient soumis plus de 13 000 ensembles de prédictions.
Au cours de la première année, plusieurs équipes de tête se sont succédé à la première place, notamment :
- WXYZConsulting, une équipe de Wei Xu et Yi Zhang (en tête de novembre à décembre 2006).
- ML@UToronto A, une équipe de l'Université de Toronto dirigée par le professeur Geoffrey Hinton (en tête pendant certaines périodes d'octobre à décembre 2006).
- Gravity, une équipe de quatre scientifiques de l'Université de technologie de Budapest (en tête de janvier à mai 2007).
- BellKor, un groupe de scientifiques des Laboratoires AT&T (en tête depuis 2007).
Ces équipes utilisaient souvent des techniques avancées de machine learning, y compris des réseaux de neurones et des méthodes d'ensemble, pour obtenir des améliorations progressives de la RMSE.
Algorithme gagnant et conséquences
L'équipe gagnante, BellKor's Pragmatic Chaos, était une fusion de trois équipes de tête : BellKor (des Laboratoires AT&T), Pragmatic Theory et Chaos. Leur algorithme combinait plusieurs modèles prédictifs, y compris la factorisation matricielle et les machines de Boltzmann restreintes, et utilisait le mélange pour combiner les prédictions. L'équipe a obtenu une amélioration de 10,06 % par rapport à Cinematch sur l'ensemble de test, battant de justesse l'équipe finaliste The Ensemble par 20 minutes lors de la date limite de soumission finale.
Le Netflix Prize a démontré la puissance du filtrage collaboratif et du machine learning dans des applications réelles, et il a stimulé des recherches significatives dans les systèmes de recommandation. La compétition a également soulevé des préoccupations en matière de confidentialité, entraînant des poursuites judiciaires et des changements dans la manière dont Netflix gérait les données des utilisateurs. Les techniques développées pendant la compétition ont influencé les développements ultérieurs dans le deep learning et l'IA générative, alors que le domaine évoluait du machine learning traditionnel vers des modèles plus sophistiqués basés sur les transformeurs.