Netflix Prize는 넷플릭스(Netflix)가 개최한 공개 경쟁으로, 영화에 대한 이전 평가만을 바탕으로 사용자의 평점을 예측하는 최상의 협업 필터링 알고리즘을 개발하는 것을 목표로 했다. 이 대회는 2006년 10월 2일부터 2009년 9월 21일 대상 수여까지 진행되었다. 100만 달러의 대상은 BellKor's Pragmatic Chaos 팀이 수상했으며, 이 팀은 넷플릭스 자체 알고리즘인 Cinematch보다 평점 예측에서 10.06%의 개선을 달성했다.
문제 및 데이터 세트
넷플릭스는 480,189명의 사용자가 17,770편의 영화에 매긴 100,480,507개의 평점으로 구성된 훈련 데이터 세트를 제공했다. 각 훈련 평점은 <사용자, 영화, 평점 날짜, 평점> 형식의 4중항으로, 여기서 사용자와 영화는 정수 ID이고 평점은 1~5점의 정수였다. 검증 데이터 세트는 <사용자, 영화, 평점 날짜> 형식의 2,817,131개 이상의 3중항으로 구성되었으며, 평점은 심사위원만 알고 있었다. 참가 팀의 알고리즘은 전체 검증 세트에 대한 평점을 예측해야 했지만, 점수는 데이터의 절반인 퀴즈 세트(1,408,342개의 평점)에 대해서만 공개되었다. 나머지 절반은 테스트 세트(1,408,789개의 평점)로, 심사위원이 잠재적 수상자를 결정하는 데 사용했다. 심사위원만이 퀴즈 세트와 테스트 세트의 구성원을 알고 있었기 때문에 테스트 세트에 대한 과적합(힐 클라이밍)을 방지할 수 있었다. 제출된 예측은 평균 제곱근 오차(RMSE)로 평가되었으며, 목표는 이 오차를 최대한 줄이는 것이었다. 또한 넷플릭스는 훈련 데이터 세트 내에서 퀴즈 및 테스트 세트와 유사한 통계적 속성을 갖도록 선택된 1,408,395개의 평점으로 구성된 프로브 하위 집합을 식별했다.
훈련 데이터 세트는 평균적으로 사용자당 200편 이상의 영화를 평가하고 영화당 5,000명 이상의 사용자가 평가하도록 구성되었다. 그러나 분산이 매우 커서 일부 영화는 3개의 평점만 받은 반면, 한 사용자는 17,000편이 넘는 영화를 평가했다. 고객 개인정보를 보호하기 위해 일부 평점 데이터는 평점 삭제, 대체 평점 및 날짜 삽입, 평점 날짜 수정 등의 방식으로 의도적으로 변형되었다. 사용자에 대한 정보는 정수 ID 외에는 제공되지 않았다.
RMSE를 평가 지표로 선택한 것에 대해서는 논란이 있었다. RMSE가 1%만 개선되어도 사용자에게 추천되는 상위 10개 영화의 순위에 큰 차이를 만들 수 있다는 주장이 제기되었다.
상금
상금은 넷플릭스 자체 알고리즘인 Cinematch 대비 개선 정도에 따라 결정되었다. 퀴즈 세트에서 각 영화의 평균 평점을 예측하는 단순한 알고리즘의 RMSE는 1.0540이었다. Cinematch는 다양한 통계적 선형 모델과 데이터 보정을 사용하여 퀴즈 데이터에서 RMSE 0.9514를 기록했으며, 이는 단순 알고리즘 대비 약 10%의 개선이었다. 대상을 받으려면 팀이 이 성능을 다시 10% 개선하여 테스트 세트에서 RMSE 0.8572(퀴즈 세트에서는 0.8563)를 달성해야 했다.
대상 수상자가 나오지 않는 동안에는 진행 상금 50,000달러가 매년 수여되었다. 진행 상을 받으려면 알고리즘이 퀴즈 세트에서 이전 진행 상 수상자(첫 해에는 Cinematch)보다 RMSE를 최소 1% 개선해야 했다. 상을 청구하려면 참가자는 알고리즘에 대한 설명과 소스 코드를 제공해야 했으며, 심사위원의 검증을 거친 후 넷플릭스에 비독점 라이선스를 부여해야 했다. 넷플릭스는 설명만 공개하고 소스 코드는 공개하지 않았다. 팀은 원래 주 1회로 제한되었던 예측 제출을 나중에는 하루 1회로 늘려 제출할 수 있었다. 어떤 팀이 RMSE를 10% 이상 개선하면 심사위원은 30일간의 최종 제출 기간을 공고했고, 이 기간 동안 가장 좋은 성능을 낸 제출이 대상을 수상했다.
대회 경과
대회는 2006년 10월 2일에 시작되었다. 10월 8일에는 WXYZConsulting이라는 팀이 이미 Cinematch의 성능을 능가했다. 10월 15일에는 세 팀이 Cinematch를 1.06% 이상 개선하여 연간 진행 상 자격을 갖추었다. 2007년 6월까지 20,000개 이상의 팀이 150개 이상의 국가에서 등록했고, 2,000개 팀이 13,000개 이상의 예측 세트를 제출했다.
첫 해에는 여러 선두 팀이 1위를 두고 경쟁했다.
- WXYZConsulting: Wei Xu와 Yi Zhang 팀으로, 2006년 11월~12월에 선두를 달렸다.
- ML@UToronto A: 토론토 대학교의 제프리 힌턴 교수가 이끄는 팀으로, 2006년 10월~12월 일부 기간 동안 선두를 달렸다.
- Gravity: 부다페스트 공과대학교의 과학자 4명으로 구성된 팀으로, 2007년 1월~5월에 선두를 달렸다.
- BellKor: AT&T 연구소의 연구자 그룹으로, 2007년 이후 선두를 유지했다.
이 팀들은 종종 고급 머신 러닝 기법(예: 신경망, 앙상블 방법)을 사용하여 RMSE를 조금씩 개선했다.
수상 알고리즘과 그 이후
수상 팀인 BellKor's Pragmatic Chaos는 BellKor, Pragmatic Theory, Chaos 세 팀의 합병으로 탄생했다. 이들의 알고리즘은 행렬 분해와 제한 볼츠만 머신을 포함한 여러 예측 모델을 결합하고 블렌딩을 사용하여 예측을 통합했다. 이 팀은 테스트 세트에서 Cinematch 대비 10.06%의 개선을 달성하여 20분 차이로 준우승 팀인 The Ensemble을 누르고 대상을 수상했다.
Netflix Prize는 실제 환경에서 협업 필터링과 머신 러닝의 힘을 입증했으며, 추천 시스템 연구에 큰 자극제가 되었다. 또한 이 대회는 사용자 데이터의 개인정보 보호에 대한 우려를 불러일으켰고, 넷플릭스가 데이터를 다루는 방식에 대한 논의와 소송으로 이어졌다. 대회 기간 동안 개발된 기법들은 이후 딥 러닝과 생성형 AI 분야의 발전에 영향을 미쳤으며, 전통적인 머신 러닝에서 더 정교한 트랜스포머 기반 모델로의 진화에 기여했다.