Netflix Prize是Netflix举办的一项公开竞赛，旨在开发最佳协同过滤算法，以预测用户对电影的评分。该竞赛于2006年10月2日启动，头奖为1，000，000美元，授予任何能够将Netflix自家推荐算法Cinematch的均方根误差（RMSE）提高10%的团队。竞赛面向所有与Netflix无关联且非居住在特定受限国家（如古巴或朝鲜）的人士。2009年9月21日，大奖被授予BellKor's Pragmatic Chaos团队，他们实现了比Cinematch高出10.06%的改进。
这次竞赛是机器学习领域的一个里程碑事件，展示了集成方法的威力，并激发了对协同过滤技术的广泛兴趣。它提供了一个独特的大规模数据集和明确的目标，吸引了来自150多个国家的超过20，000支团队。
问题与数据集
Netflix提供了一个包含100，480，507条评分的训练数据集，这些评分由480，189位用户对17，770部电影给出。每条训练评分是一个四元组，形式为<用户，电影，评分日期，评分>，其中用户和电影是整数ID，评分是1到5的整数。资格赛数据集包含超过2，817，131个三元组，形式为<用户，电影，评分日期>，但评分仅由评审团知晓。参赛团队的算法必须预测整个资格集上的评分，但团队仅被告知其中一半数据的评分：即包含1，408，342条评分的测验集。另一半，即包含1，408，789条评分的测试集，由评审团用于确定获奖者。只有评审团知道哪些评分属于测验集，哪些属于测试集，这使得在测试集上过拟合变得困难。
提交的预测结果使用真实评分通过RMSE进行评分，目标是最小化这一误差。Netflix还在训练数据集中确定了一个探针子集，包含1，408，395条评分，其统计特性与测验集和测试集相似。训练集的构建使得平均每位用户对超过200部电影进行了评分，平均每部电影获得了超过5，000位用户的评分，但存在很大差异：有些电影仅有3条评分，而一位用户对超过17，000部电影进行了评分。为保护客户隐私，部分评分数据被故意扰动，包括删除评分、插入替代评分和日期，或修改评分日期。
奖项
奖项基于对Netflix自家算法Cinematch或前一届年度奖得主的改进。一个简单的算法，即预测每部电影的平均评分，在测验集上的RMSE为1.0540。Cinematch使用了直接的统计线性模型并进行了大量数据调整，在测验数据上的RMSE为0.9514，比简单算法提高了约10%。要赢得大奖，团队必须在测试集上达到0.8572的RMSE，即比Cinematch提高10%。
只要没有团队赢得大奖，每年都会颁发50，000美元的进步奖，授予在测验集上比前一届进步奖得主（或第一年比Cinematch）提高至少1%的最佳结果。要领取奖项，参与者必须在一周内向评审团提供源代码和算法描述，并在验证后授予Netflix非独占许可。Netflix只会公布描述，不会公开源代码。团队可以提交任意多的预测集，最初每周一次，后来改为每天一次。一旦有团队实现了10%的改进，评审团会发出最后通知，给予所有团队30天时间提交最终参赛作品。竞赛将持续到大奖得主产生，但如果五年后（即2011年10月2日）仍无得主，Netflix有权终止竞赛。
年度进展
竞赛于2006年10月2日开始。到10月8日，一个名为WXYZConsulting的团队已经超越了Cinematch的结果。到10月15日，三个团队超越了Cinematch，其中一个团队提高了1.06%，足以获得年度进步奖。到2007年6月，已有超过20，000支团队注册，来自150多个国家，提交了超过13，000个预测集。
在第一年中，几个领先团队交替占据首位，包括WXYZConsulting（Wei Xu和Yi Zhang）、多伦多大学的ML@UToronto A团队（由Geoffrey Hinton教授领导）、布达佩斯科技经济大学的Gravity团队以及AT&T实验室的BellKor团队。这些团队采用了多种技术，包括矩阵分解、集成学习和神经网络方法，通常结合多个模型以实现逐步改进。
影响与遗产
Netflix Prize对推荐系统和机器学习领域产生了深远影响。它证明了融合多种预测模型以达到最先进性能的有效性，这一技术随后在工业界得到广泛应用。竞赛还凸显了在大规模真实世界数据集上进行数据挖掘的重要性，并推动了对协同过滤算法的研究。获胜团队BellKor's Pragmatic Chaos结合了超过100种不同的模型，包括受限玻尔兹曼机和矩阵分解变体，最终实现了10.06%的改进。
竞赛还引发了关于数据共享中隐私问题的关注，因为Netflix后来因发布数据集而面临诉讼，该数据集可能被用来识别用户。尽管如此，Netflix Prize仍然是人工智能和数据科学历史上的一个基准，激励了类似的竞赛，并为现代流媒体服务和电子商务平台推荐系统的发展做出了贡献。
另见
- 机器学习
- 协同过滤
- 推荐系统
- 数据挖掘