넷플릭스 프라이즈는 비디오 스트리밍 서비스인 넷플릭스가 영화에 대한 사용자 평점을 예측하는 최고의 협업 필터링 알고리즘을 개발하기 위해 개최한 공개 경쟁 대회였다. 이 대회는 2006년 10월 2일부터 2009년 9월 21일까지 진행되었으며, 넷플릭스와 관련이 없는 사람(현직 및 전직 직원과 그들의 가까운 친척 포함)이거나 쿠바나 북한과 같은 특정 차단 국가의 거주자가 아닌 사람이라면 누구나 참가할 수 있었다. 100만 달러의 대상은 평점 예측에서 넷플릭스 자체 알고리즘인 시네매치보다 10.06%의 개선을 달성한 BellKor's Pragmatic Chaos 팀에게 수여되었다.
문제 및 데이터 세트
넷플릭스는 480,189명의 사용자가 17,770편의 영화에 부여한 100,480,507개의 평점을 포함하는 훈련 데이터 세트를 제공했다. 각 훈련 평점은 <사용자, 영화, 평점 날짜, 평점> 형태의 4중항이었으며, 여기서 사용자와 영화는 정수 ID이고 평점은 1~5점의 정수였다. 검증 데이터 세트는 <사용자, 영화, 평점 날짜> 형태의 2,817,131개 이상의 3중항을 포함했으며, 평점은 심사위원만 알 수 있었다. 참가 팀의 알고리즘은 전체 검증 세트에 대한 평점을 예측해야 했지만, 팀은 데이터의 절반에 대해서만 점수를 통보받았다: 1,408,342개의 평점으로 구성된 퀴즈 세트였다. 나머지 절반인 1,408,789개의 평점으로 구성된 테스트 세트는 잠재적 수상자를 결정하기 위해 심사위원이 사용했다. 어떤 평점이 퀴즈 세트에 있고 어떤 평점이 테스트 세트에 있는지 아는 사람은 심사위원뿐이었으며, 이는 테스트 세트에 대한 힐 클라이밍을 어렵게 만들기 위한 조치였다.
제출된 예측은 실제 평점과 비교하여 평균 제곱근 오차(RMSE)로 평가되었으며, 목표는 이 오차를 최대한 줄이는 것이었다. 실제 평점은 1~5 범위의 정수였지만, 제출된 예측은 정수일 필요가 없었다. 넷플릭스는 또한 훈련 데이터 세트 내에서 1,408,395개의 평점으로 구성된 프로브 하위 집합을 식별했다. 프로브, 퀴즈 및 테스트 데이터 세트는 유사한 통계적 특성을 갖도록 선택되었다. 요약하면, 넷플릭스 프라이즈에 사용된 데이터는 다음과 같다: 훈련 세트(프로브 세트를 제외한 99,072,112개의 평점; 프로브 세트를 포함한 100,480,507개의 평점), 프로브 세트(1,408,395개의 평점), 그리고 테스트 세트(1,408,789개의 평점)와 퀴즈 세트(1,408,342개의 평점)로 구성된 검증 세트(2,817,131개의 평점)였다.
각 영화에 대해 제목과 개봉 연도는 별도의 데이터 세트로 제공되었지만, 사용자에 대한 정보는 제공되지 않았다. 고객 개인정보를 보호하기 위해 훈련 및 검증 세트의 일부 고객에 대한 일부 평점 데이터는 평점 삭제, 대체 평점 및 날짜 삽입, 평점 날짜 수정을 통해 의도적으로 변형되었다. 훈련 세트는 평균 사용자가 200개 이상의 영화에 평점을 매기고 평균 영화가 5,000명 이상의 사용자로부터 평점을 받도록 구성되었지만, 편차가 컸다: 일부 영화는 평점이 3개뿐인 반면, 한 사용자는 17,000개 이상의 영화에 평점을 매겼다. RMSE를 정의 지표로 선택한 것에 대해 논란이 있었는데, RMSE의 1% 개선만으로도 사용자에게 가장 많이 추천되는 상위 10개 영화의 순위에 상당한 차이를 초래할 수 있다고 주장되었다.
상금
상금은 넷플릭스 자체 알고리즘인 시네매치에 대한 개선 또는 특정 임계값 이상의 개선을 이룬 경우 전년도 점수에 대한 개선을 기준으로 수여되었다. 퀴즈 세트의 각 영화에 대해 훈련 데이터의 평균 평점을 예측하는 단순한 알고리즘은 RMSE 1.0540을 산출했다. 시네매치는 많은 데이터 조건화를 갖춘 간단한 통계적 선형 모델을 사용했으며, 그 성능은 2006년까지 정체 상태였다. 훈련 데이터만 사용하여 시네매치는 퀴즈 데이터에서 RMSE 0.9514를 기록했으며, 이는 단순 알고리즘보다 약 10% 개선된 것이었고, 테스트 세트에서도 0.9525로 유사한 성능을 보였다. 100만 달러의 대상을 받으려면 참가 팀이 이를 10% 더 개선하여 테스트 세트에서 0.8572를 달성해야 했으며, 이는 퀴즈 세트에서 RMSE 0.8563에 해당했다.
대상을 받은 팀이 없는 한, 진행 상금으로 50,000달러가 매년 최고 결과에 수여되었다. 이 상금을 받으려면 알고리즘이 퀴즈 세트의 RMSE를 이전 진행 상금 수상자(첫 해에는 시네매치)보다 최소 1% 개선해야 했다. 제출이 성공하지 못하면 해당 연도에는 진행 상금이 수여되지 않았다. 진행 상금이나 대상을 받으려면 참가자는 연락을 받은 후 일주일 이내에 알고리즘의 소스 코드와 설명을 심사위원에게 제공해야 했으며, 검증 후 수상자는 넷플릭스에 비독점 라이선스도 제공해야 했다. 넷플릭스는 시스템의 설명만 공개하고 소스 코드는 공개하지 않았다. 팀은 알고리즘과 소스 코드를 비밀로 유지하기 위해 상금을 수령하지 않기로 선택할 수 있었다. 심사위원은 다른 참가자에게 자신들의 예측을 비밀로 유지했다. 팀은 원하는 만큼 평점 예측을 제출할 수 있었으며, 제출은 원래 일주일에 한 번으로 제한되었지만 곧 하루에 한 번으로 변경되었다. 팀의 지금까지 최고 제출이 현재 제출로 간주되었다.
팀이 RMSE를 10% 이상 개선하는 데 성공하면 심사위원은 마지막 호출을 발행하여 모든 팀에게 30일의 제출 기간을 주었다. 그 후에야 최고 제출을 한 팀에게 알고리즘 설명, 소스 코드 및 비독점 라이선스가 요청되었고, 성공적인 검증 후 대상 수상자로 선언되었다. 대회는 대상 수상자가 선언될 때까지 지속되었지만, 아무도 대상을 받지 못했다면 최소 5년(2011년 10월 2일까지) 동안 지속되었을 것이며, 그 후에는 넷플릭스의 단독 재량으로 언제든지 종료될 수 있었다.
연도별 진행 상황
대회는 2006년 10월 2일에 시작되었다. 10월 8일까지 WXYZConsulting이라는 팀이 이미 시네매치의 결과를 능가했다. 10월 15일까지 시네매치를 능가한 팀이 세 팀 있었으며, 그중 하나는 연간 진행 상금을 받을 자격이 되는 1.06%의 개선을 이루었다. 2007년 6월까지 150개 이상의 국가에서 20,000개 이상의 팀이 대회에 등록했고, 2,000개 팀이 13,000개 이상의 예측 세트를 제출했다.
대회 첫 해 동안 소수의 선두 주자들이 1위를 주고받았다. 더 눈에 띄는 팀으로는 2006년 11월과 12월 동안 선두 주자였던 Wei Xu와 Yi Zhang의 팀인 WXYZConsulting; 2006년 10월부터 12월까지 일부 기간 동안 선두 주자였던 Prof. Geoffrey Hinton이 이끄는 토론토 대학교 팀인 ML@UToronto A; 2007년 1월부터 5월까지 선두 주자였던 부다페스트 공과대학교의 과학자 네 명으로 구성된 Gravity; 그리고 2007년 중반부터 선두 주자였던 AT&T 연구소의 과학자 그룹인 BellKor가 있었다. 대회는 머신 러닝과 딥 러닝 접근 방식을 포함한 다양한 머신 러닝 기술의 적용을 보았으며, 이는 이후 더 넓은 인공 지능 분야에 영향을 미쳤다.
유산과 영향
넷플릭스 프라이즈는 협업 필터링에서 앙상블 방법과 행렬 분해 기술의 효과를 입증했다. 이는 추천 시스템에 대한 상당한 학문적 및 산업적 연구를 촉진했으며, 이후 생성형 AI와 대규모 언어 모델의 발전에 영향을 미쳤다. 대회는 또한 데이터 공유의 개인정보 보호 문제에 대한 인식을 높였는데, 연구자들이 나중에 익명화된 데이터가 재식별될 수 있음을 보여주면서 2010년 소송과 이후 기업이 사용자 데이터를 처리하는 방식의 변화로 이어졌다. 이 상금은 머신 러닝과 크라우드소싱 문제 해결의 역사에서 획기적인 사건으로 자주 인용되며, 다른 분야에서도 유사한 대회에 영감을 주었다.
결론
넷플릭스 프라이즈는 2009년 9월 21일에 BellKor's Pragmatic Chaos가 대상을 수상하면서 종료되었으며, 이 팀은 BellKor, Pragmatic Theory 및 BigChaos의 노력을 결합한 팀이었다. 우승 알고리즘은 테스트 세트에서 RMSE 0.8567을 달성하여 시네매치보다 10.06% 개선되었다. 이 대회는 추천 알고리즘의 최첨단을 발전시켰을 뿐만 아니라 개방형 혁신의 잠재력과 디지털 시대의 데이터 품질 및 개인정보 보호의 중요성을 강조했다. 그 영향은 스트리밍 서비스와 전자상거래 플랫폼에서 사용되는 현대 추천 시스템에 지속되고 있다.