El Premio Netflix fue una competición abierta organizada por Netflix, un servicio de transmisión de video, para desarrollar el mejor algoritmo de filtrado colaborativo para predecir las calificaciones de los usuarios sobre películas. La competición, lanzada el 2 de octubre de 2006, ofreció un gran premio de US$1,000,000 a cualquier equipo que pudiera mejorar el algoritmo de recomendación propio de Netflix, Cinematch, en un 10% en el error cuadrático medio raíz (RMSE). La competición estaba abierta a cualquier persona no vinculada con Netflix y que no fuera residente de ciertos países bloqueados, como Cuba o Corea del Norte. El 21 de septiembre de 2009, el gran premio fue otorgado al equipo BellKor's Pragmatic Chaos, que logró una mejora del 10.06% sobre Cinematch.
La competición fue un evento emblemático en el campo del Machine learning, demostrando el poder de los métodos de conjunto y despertando un interés generalizado en las técnicas de filtrado-colaborativo. Proporcionó un conjunto de datos único y a gran escala y un objetivo claro, atrayendo a más de 20,000 equipos de más de 150 países.
Problema y conjuntos de datos
Netflix proporcionó un conjunto de datos de entrenamiento de 100,480,507 calificaciones que 480,189 usuarios dieron a 17,770 películas. Cada calificación de entrenamiento era una cuádrupla de la forma <usuario, película, fecha de calificación, calificación>, donde usuario y película eran identificadores enteros y las calificaciones eran enteros del 1 al 5. El conjunto de datos de calificación contenía más de 2,817,131 tripletas de la forma <usuario, película, fecha de calificación>, con calificaciones conocidas solo por el jurado. El algoritmo de un equipo participante tenía que predecir calificaciones sobre todo el conjunto de calificación, pero el equipo solo era informado de la puntuación para la mitad de los datos: un conjunto de prueba de 1,408,342 calificaciones. La otra mitad, el conjunto de prueba de 1,408,789 calificaciones, fue utilizada por el jurado para determinar a los ganadores de los premios. Solo los jueces sabían qué calificaciones estaban en el conjunto de prueba y cuáles en el conjunto de prueba, lo que dificultaba el sobreajuste en el conjunto de prueba. Las predicciones enviadas fueron puntuadas contra las calificaciones verdaderas usando RMSE, y el objetivo era reducir este error tanto como fuera posible. Netflix también identificó un subconjunto de sonda de 1,408,395 calificaciones dentro del conjunto de datos de entrenamiento, elegido para tener propiedades estadísticas similares a los conjuntos de prueba y prueba. El conjunto de entrenamiento fue construido de tal manera que el usuario promedio calificó más de 200 películas, y la película promedio fue calificada por más de 5,000 usuarios, pero había una amplia varianza: algunas películas tenían tan pocas como 3 calificaciones, mientras que un usuario calificó más de 17,000 películas. Para proteger la privacidad del cliente, algunos datos de calificación fueron deliberadamente perturbados eliminando calificaciones, insertando calificaciones y fechas alternativas, o modificando las fechas de calificación.
Hubo cierta controversia sobre la elección de RMSE como la métrica definitoria, ya que se afirmó que incluso una mejora del 1% en RMSE podría afectar significativamente la clasificación de las películas recomendadas en el top-10 para un usuario.
Premios
Los premios se basaron en la mejora sobre el algoritmo propio de Netflix, Cinematch, o sobre la puntuación del año anterior si un equipo había mejorado más allá de cierto umbral. Un algoritmo trivial que predijera la calificación promedio de cada película produjo un RMSE de 1.0540 en el conjunto de prueba. Cinematch, que usaba modelos lineales estadísticos sencillos con mucho acondicionamiento de datos, obtuvo un RMSE de 0.9514 en los datos de prueba, aproximadamente una mejora del 10% sobre el algoritmo trivial. Para ganar el gran premio, un equipo tenía que lograr un RMSE de 0.8572 en el conjunto de prueba, una mejora del 10% sobre Cinematch. Mientras ningún equipo ganara el gran premio, se otorgaba un premio de progreso de $50,000 cada año por el mejor resultado, siempre que el algoritmo mejorara el RMSE en el conjunto de prueba en al menos un 1% sobre el ganador del premio de progreso anterior (o sobre Cinematch en el primer año). Para reclamar un premio, un participante tenía que proporcionar el código fuente y una descripción del algoritmo al jurado dentro de una semana, y después de la verificación, proporcionar una licencia no exclusiva a Netflix. Netflix publicaría solo la descripción, no el código fuente. Los equipos podían enviar tantos conjuntos de predicciones como desearan, inicialmente una vez por semana pero luego una vez por día. Una vez que un equipo lograra una mejora del 10%, el jurado emitía una última llamada, dando a todos los equipos 30 días para enviar sus entradas finales. La competición duraría hasta que se declarara al ganador del gran premio, pero habría sido terminada a discreción de Netflix después de al menos cinco años(hasta el 2 de octubre de 2011) si ningún ganador hubiera surgido.
Progreso a lo largo de los años
La competición comenzó el 2 de octubre de 2006. Para el 8 de octubre, un equipo llamado WXYZConsulting ya había superado los resultados de Cinematch. Para el 15 de octubre, tres equipos habían superado a Cinematch, uno por 1.06%, suficiente para calificar para el premio de progreso anual. Para junio de 2007, más de 20,000 equipos se habían registrado de más de 150 países, y 2,000 equipos habían enviado más de 13,000 conjuntos de predicciones. Durante el primer año, varios líderes se alternaron en el primer lugar, incluyendo WXYZConsulting(Wei Xu y Yi Zhang), ML@UTorontoA de la University of Toronto dirigido por el Prof. Geoffrey Hinton, Gravity de la Universidad de Tecnología de Budapest, y BellKor de AT&T Labs. Estos equipos emplearon una variedad de técnicas, incluyendo factorización-de-matrices, Ensemble Learning, y enfoques de Neural network, a menudo combinando múltiples modelos para lograr mejoras incrementales.
Impacto y legado
El Premio Netflix tuvo un impacto significativo en el campo de los sistemas-de-recomendación y el Machine learning. Demostró la efectividad de combinar muchos modelos predictivos para lograr resultados de vanguardia, una técnica que se adoptó ampliamente en la industria. La competición también destacó la importancia de la minería-de-datos en conjuntos de datos a gran escala y del mundo real, y estimuló la investigación en algoritmos de filtrado-colaborativo. El equipo ganador, BellKor's Pragmatic Chaos, combinó más de 100 modelos diferentes, incluyendo máquinas-de-boltzmann-restringidas y variantes de factorización-de-matrices, para lograr la mejora final del 10.06%.
La competición también generó conciencia sobre los problemas de privacidad en el intercambio de datos, ya que Netflix enfrentó más tarde una demanda por la publicación del conjunto de datos, que podría identificar potencialmente a los usuarios. A pesar de estas preocupaciones, el Premio Netflix sigue siendo un referente en la historia de la Artificial intelligence y la ciencia-de-datos, inspirando competiciones similares y contribuyendo al desarrollo de los sistemas de recomendación modernos utilizados por los servicios de transmisión y las plataformas de comercio-electrónico.
Véase también
- Machine learning
- filtrado-colaborativo
- sistemas-de-recomendación
- minería-de-datos