넷플릭스 프라이즈(Netflix Prize)는 비디오 스트리밍 서비스인 넷플릭스가 영화에 대한 사용자 평가를 예측하는 최고의 협업 필터링 알고리즘을 개발하기 위해 개최한 공개 경쟁 대회였다. 이 대회는 2006년 10월 2일에 시작되었으며, 넷플릭스 자체 추천 알고리즘인 시네매치(Cinematch)를 평균 제곱근 오차(RMSE) 기준으로 10% 개선하는 팀에게 100만 달러의 대상금을 제공했다. 대회는 넷플릭스와 관련이 없고 쿠바나 북한과 같은 특정 차단 국가에 거주하지 않는 모든 사람에게 열려 있었다. 2009년 9월 21일, 대상은 시네매치 대비 10.06% 개선을 달성한 BellKor's Pragmatic Chaos 팀에게 수여되었다.
이 대회는 Machine learning 분야의 획기적인 사건으로, 앙상블 방법의 힘을 입증하고 협업 필터링 기술에 대한 광범위한 관심을 촉발했다. 독특한 대규모 데이터 세트와 명확한 목표를 제공하여 150개 이상의 국가에서 20,000개 이상의 팀을 끌어들였다.
문제 및 데이터 세트
넷플릭스는 480,189명의 사용자가 17,770편의 영화에 매긴 100,480,507개의 평가로 구성된 훈련 데이터 세트를 제공했다. 각 훈련 평가는 <사용자, 영화, 평가 날짜, 평점> 형태의 4중항으로, 사용자와 영화는 정수 ID였고 평점은 1부터 5까지의 정수였다. 검증 데이터 세트에는 <사용자, 영화, 평가 날짜> 형태의 2,817,131개 이상의 3중항이 포함되어 있으며, 평점은 심사위원에게만 알려져 있었다. 참가 팀의 알고리즘은 전체 검증 세트에 대한 평점을 예측해야 했지만, 팀은 데이터의 절반에 해당하는 퀴즈 세트(1,408,342개의 평가)에 대한 점수만 통보받았다. 나머지 절반인 테스트 세트(1,408,789개의 평가)는 심사위원이 수상자를 결정하는 데 사용했다. 심사위원만이 어느 평가가 퀴즈 세트에 있고 어느 것이 테스트 세트에 있는지 알고 있었기 때문에 테스트 세트에 과적합하는 것이 어려웠다.
제출된 예측은 RMSE를 사용하여 실제 평점과 비교해 점수를 매겼으며, 목표는 이 오차를 최대한 줄이는 것이었다. 넷플릭스는 또한 훈련 데이터 세트 내에서 퀴즈 및 테스트 세트와 유사한 통계적 속성을 가진 1,408,395개의 평가로 구성된 프로브 하위 세트를 식별했다. 훈련 세트는 평균 사용자가 200개 이상의 영화를 평가하고 평균 영화가 5,000명 이상의 사용자에게 평가되도록 구성되었지만, 편차가 커서 일부 영화는 3개의 평가만 받은 반면 한 사용자는 17,000개 이상의 영화를 평가했다. 고객 개인정보를 보호하기 위해 일부 평가 데이터는 평가 삭제, 대체 평가 및 날짜 삽입, 평가 날짜 수정 등을 통해 의도적으로 변형되었다.
RMSE를 정의 지표로 선택한 것에 대해 논란이 있었는데, RMSE가 1%만 개선되어도 사용자에게 추천되는 상위 10개 영화의 순위에 큰 영향을 미칠 수 있다는 주장이 있었다.
상금
상금은 넷플릭스의 자체 알고리즘인 시네매치 대비 개선율 또는 특정 임계값 이상 개선한 경우 전년도 점수 대비 개선율에 따라 결정되었다. 각 영화의 평균 평점을 예측하는 단순한 알고리즘은 퀴즈 세트에서 RMSE 1.0540을 산출했다. 많은 데이터 조건화와 함께 단순한 통계적 선형 모델을 사용한 시네매치는 퀴즈 데이터에서 RMSE 0.9514를 기록하여 단순 알고리즘 대비 약 10% 개선했다. 대상을 받으려면 팀은 테스트 세트에서 RMSE 0.8572, 즉 시네매치 대비 10% 개선을 달성해야 했다.
대상 수상 팀이 나오지 않는 한, 진행상금 50,000달러가 매년 수여되었으며, 알고리즘이 퀴즈 세트의 RMSE를 이전 진행상 수상자(또는 첫 해에는 시네매치)보다 최소 1% 개선한 경우에 한했다. 상금을 받으려면 참가자는 1주일 내에 소스 코드와 알고리즘 설명을 심사위원에게 제공해야 했으며, 검증 후 넷플릭스에 비독점 라이선스를 제공해야 했다. 넷플릭스는 설명만 게시하고 소스 코드는 게시하지 않았다. 팀은 처음에는 일주일에 한 번, 나중에는 하루에 한 번씩 예측 세트를 제출할 수 있었다. 팀이 10% 개선을 달성하면 심사위원은 마지막 호출을 발행하여 모든 팀에게 최종 제출물을 제출할 30일의 기간을 주었다. 대회는 대상 수상자가 선언될 때까지 지속되었지만, 5년 이상(2011년 10월 2일까지) 수상자가 없으면 넷플릭스의 재량으로 종료될 예정이었다.
수상 내역
수상은 넷플릭스 자체 알고리즘인 시네매치 대비 개선 정도 또는 팀이 특정 임계값 이상 개선한 경우 전년도 점수 대비 개선 정도에 기반했다. 각 영화의 평균 평점을 예측하는 단순한 알고리즘은 퀴즈 세트에서 RMSE 1.0540을 생성했다. 많은 데이터 조건화와 함께 단순한 통계적 선형 모델을 사용한 시네매치는 퀴즈 데이터에서 RMSE 0.9514를 기록하여 단순 알고리즘 대비 약 10% 개선된 성과를 보였다. 대상금을 받으려면 팀은 테스트 세트에서 RMSE 0.8572, 즉 시네매치 대비 10% 개선을 달성해야 했다.
대상 수상자가 없는 한, 진행 상금 50,000달러가 매년 최고 결과에 수여되었으며, 단 알고리즘이 퀴즈 세트에서 전년도 진행 상 수상자(또는 첫 해에는 시네매치) 대비 RMSE를 1% 이상 개선해야 했다. 상금을 받으려면 참가자는 1주일 이내에 소스 코드와 알고리즘 설명을 심사위원에게 제출해야 했고, 넷플릭스에 비독점 라이선스를 제공해야 했다. 넷플릭스는 설명만 공개하고 소스 코드는 공개하지 않았다. 팀은 처음에는 주 1회, 나중에는 하루 1회 예측 세트를 제출할 수 있었다. 팀이 10% 개선을 달성하면 심사위원은 30일간의 기간을 주어 최종 제출을 받았고, 대상 수상자가 나올 때까지 대회가 지속되었다. 만약 5년 후(최소 기간)에도 수상자가 없으면 넷플릭스 재량에 따라 대회가 종료될 수 있었다.
연도별 진행 상황
대회는 2006년 10월 2일에 시작되었다. 10월 8일까지 WXYZConsulting이라는 팀이 이미 시네매치의 결과를 이겼다. 10월 15일까지 세 팀이 시네매치를 이겼고, 그중 하나는 1.06% 개선하여 연간 진행 상금을 받을 자격을 갖추었다. 2007년 6월까지 150개 이상의 국가에서 20,000개 이상의 팀이 등록했고, 2,000개 팀이 13,000개 이상의 예측 세트를 제출했다.
첫 해 동안 여러 선두 팀이 1위를 번갈아 차지했으며, WXYZConsulting(Wei Xu와 Yi Zhang), University of Toronto의 Geoffrey Hinton 교수가 이끄는 ML@UToronto A, 부다페스트 공과대학의 Gravity, AT&T 연구소의 BellKor 등이 포함되었다. 이 팀들은 행렬 분해, Ensemble Learning, Neural network 접근 방식 등 다양한 기법을 사용했으며, 종종 여러 모델을 결합하여 점진적인 개선을 달성했다.
영향 및 유산
넷플릭스 프라이즈는 추천 시스템 및 Machine learning 분야에 상당한 영향을 미쳤다. 이는 최첨단 결과를 달성하기 위해 많은 예측 모델을 혼합하는 효과를 입증했으며, 이 기법은 업계에서 널리 채택되었다. 대회는 또한 대규모 실제 데이터 세트에 대한 데이터 마이닝의 중요성을 강조하고 협업 필터링 알고리즘에 대한 연구를 촉진했다. 우승 팀인 BellKor's Pragmatic Chaos는 제한된 볼츠만 머신과 행렬 분해 기법을 포함한 100개 이상의 다양한 모델을 결합하여 최종 10.06% 개선을 달성했다.
대회는 또한 데이터 공유의 개인정보 보호 문제에 대한 인식을 높였으며, 넷플릭스는 잠재적으로 사용자를 식별할 수 있는 데이터 세트 공개로 인해 나중에 소송에 직면했다. 이러한 우려에도 불구하고, 넷플릭스 프라이즈는 Artificial intelligence 및 데이터 과학 역사에서 중요한 이정표로 남아 있으며, 유사한 대회에 영감을 주고 스트리밍 서비스와 전자상거래 플랫폼의 현대 추천 시스템 개발에 기여했다.
같이 보기
- Machine learning
- collaborative-filtering
- recommender-systems
- data-mining