Netflix Prize 是Netflix（一家视频流媒体服务公司）举办的一项公开竞赛，旨在开发最佳的协同过滤算法，仅依据用户对电影的过往评分来预测其评分，而不使用关于用户或电影的任何其他信息。该竞赛从2006年10月2日开始，直到2009年9月21日颁发大奖为止。100万美元的大奖由BellKor's Pragmatic Chaos团队赢得，该团队在评分预测上比Netflix自身的算法Cinematch实现了10.06%的改进。
问题与数据集
Netflix提供了一个训练数据集，包含480,189位用户对17,770部电影的100,480,507条评分。每条训练评分是一个四元组，形式为<用户，电影，评分日期，评分>，其中用户和电影是整数ID，评分是1到5星的整数。合格数据集包含超过2,817,131个三元组，形式为<用户，电影，评分日期>，评分仅由评审团知晓。参赛团队的算法必须预测整个合格集上的评分，但他们只被告知一半数据的得分：即包含1,408,342条评分的测验集。另一半是测试集，包含1,408,789条评分，由评审团用来确定潜在获奖者。只有评审知道哪些评分属于测验集，哪些属于测试集，这使得在测试集上进行爬山优化变得困难。提交的预测使用均方根误差（RMSE）进行评分，目标是最小化该误差。Netflix还在训练数据集中确定了一个探针子集，包含1,408,395条评分，其统计特性与测验集和测试集相似。
训练集的构建使得平均每位用户评分超过200部电影，平均每部电影被超过5,000位用户评分。然而，存在很大差异：有些电影仅有3条评分，而一位用户评分了超过17,000部电影。为保护客户隐私，部分客户的某些评分数据被故意扰动，包括删除评分、插入替代评分和日期，或修改评分日期。除整数ID外，未提供任何关于用户的信息。
关于选择RMSE作为定义指标存在一些争议。有人声称，即使RMSE仅改进1%，也可能导致用户前10部推荐电影的排名发生显著变化。
奖项
奖项基于对Netflix自身算法Cinematch的改进，或者如果团队已超过某一阈值，则基于前一年的得分。一个预测测验集中每部电影平均评分的简单算法产生的RMSE为1.0540。Cinematch使用带有大量数据条件化的直接统计线性模型，在测验数据上的RMSE为0.9514，比简单算法大约改进了10%。要赢得100万美元的大奖，团队必须在此基础上再改进10%，在测试集上达到0.8572（在测验集上为0.8563）。
只要没有团队赢得大奖，每年都会颁发5万美元的进步奖，授予迄今为止最佳结果的团队，前提是该算法在测验集上的RMSE比前一个进步奖得主（或第一年的Cinematch）至少改进1%。要申领奖项，参与者必须在一周内向评审团提供源代码和算法描述，并在验证后向Netflix提供非独占许可。Netflix只发布描述，不发布源代码。团队可以提交任意数量的预测，最初限制为每周一次，后来改为每天一次。一旦有团队成功将RMSE改进10%或更多，评审团会发出最后通知，给予所有团队30天时间提交方案。然后，最佳提交的团队会被要求提供算法描述、源代码和许可，并在验证后被宣布为大奖得主。
竞赛将持续到大奖得主被宣布为止。如果无人获胜，竞赛至少会持续五年（直到2011年10月2日），之后Netflix可以随时终止。
历年进展
竞赛于2006年10月2日开始。到10月8日，一个名为WXYZConsulting的团队已经击败了Cinematch的结果。到10月15日，三个团队击败了Cinematch，其中一个改进了1.06%，足以获得年度进步奖。到2007年6月，来自150多个国家的超过20,000个团队已注册，2,000个团队提交了超过13,000个预测集。
在第一年中，多个领先团队交替占据首位，包括：
- WXYZConsulting，由Wei Xu和Yi Zhang组成的团队（2006年11月至12月期间领先）。
- ML@UToronto A，来自多伦多大学的团队，由Geoffrey Hinton教授领导（2006年10月至12月部分时间领先）。
- Gravity，由布达佩斯科技大学的四位科学家组成的团队（2007年1月至5月期间领先）。
- BellKor，来自AT&T实验室的科学家团队（自2007年起领先）。
这些团队经常使用先进的机器学习技术，包括神经网络和集成方法，以挤出RMSE的增量改进。
获胜算法与后续影响
获胜团队BellKor's Pragmatic Chaos是三个领先团队的合并：BellKor（来自AT&T实验室）、Pragmatic Theory和Chaos。他们的算法结合了多种预测模型，包括矩阵分解和受限玻尔兹曼机，并使用混合来组合预测。该团队在测试集上对Cinematch实现了10.06%的改进，在最终提交截止时间前仅以20分钟的优势险胜亚军团队The Ensemble。
Netflix Prize展示了协同过滤和机器学习在现实应用中的力量，并推动了推荐系统领域的重大研究。该竞赛还引发了隐私担忧，导致诉讼和Netflix处理用户数据方式的改变。竞赛中开发的技术影响了后来深度学习和生成式AI的发展，因为该领域从传统的机器学习演变为更复杂的基于Transformer的模型。