Face Recognition Vendor Test(FRVT)는 미국 국립표준기술연구소(NIST)가 주관하는 얼굴 인식 시스템에 대한 일련의 대규모 독립 평가이다. 2000년에 시작된 이 프로그램은 정기 평가에서 벗어나 전 세계 공급업체와 연구 기관이 제출한 알고리즘을 지속적으로 벤치마킹하는 상시 노력으로 발전했다. FRVT는 다양한 이미지 유형과 운영 시나리오에 걸쳐 얼굴 인식 기술의 정확성, 속도, 견고성을 측정하며, 그 결과는 정부 기관, 산업계, 연구자들이 최신 기술 수준을 가늠하는 데 널리 사용된다.
FRVT 시리즈는 1994년, 1995년, 1996년에 수행된 Face Recognition Technology(FERET) 평가와 같은 초기 NIST 평가를 기반으로 한다. FERET이 기초적인 테스트 방법론을 확립한 반면, FRVT는 더 큰 데이터 세트, 더 까다로운 이미지, 더 넓은 범위의 작업을 포함하도록 범위를 확장했다. 시간이 지나면서 이 프로그램은 비디오 내 얼굴 인식, 얼굴 변형 탐지, 그리고 알고리즘 성능에 대한 연령, 성별, 인종과 같은 인구통계학적 영향 분석을 위한 특수 하위 테스트를 포함하도록 성장했다.
FRVT 2006
2006년에 수행된 FRVT 2006 평가는 이 시리즈의 주요 이정표였다. 그 주요 목표는 FRVT 2002 평가 이후 프로토타입 및 상용 얼굴 인식 시스템의 발전을 측정하는 것이었다. 이 평가는 고해상도 정지 이미지(5~6 메가픽셀), 3D 얼굴 스캔, 다중 샘플 정지 얼굴 이미지, 그리고 포즈와 조명 변화를 보정하도록 설계된 전처리 알고리즘의 성능을 평가했다.
정확한 평가를 보장하기 위해 FRVT 2006은 연구자나 개발자가 이전에 보지 못한 이미지인 격리 데이터와 표준화된 테스트 방법론을 사용했다. 모든 참가자는 Biometric Experimentation Environment(BEE)라는 공통 데이터 세트와 테스트 환경을 사용하여 균등하게 평가되었다. BEE는 테스트 데이터 관리, 실험 구성, 결과 처리를 단순화하여 실험자가 알고리즘 개발에 집중할 수 있게 했다. 이 평가는 여러 미국 정부 기관의 후원으로 NIST가 관리했다.
FRVT 2006의 한 가지 목표는 Face Recognition Grand Challenge(FRGC)의 목표가 달성되었는지 독립적으로 확인하는 것이었다. 2004년 5월부터 2006년 3월까지 수행된 별도의 알고리즘 개발 프로젝트인 FRGC는 FRVT 2002에서 평가된 것보다 한 자릿수 더 나은 얼굴 인식 알고리즘을 생산하는 것을 목표로 했다. FRGC 데이터는 필요한 라이선스에 서명하고 데이터 공개 규칙을 따르는 연구자에게 여전히 제공된다.
FRVT 2006 결과
FRVT 2006의 대규모 결과는 Iris Challenge Evaluation(ICE) 2006과 함께 결합 보고서로 발표되었다. 이 평가는 10개국 22개 조직의 참여를 이끌어냈으며, 많은 조직이 여러 알고리즘을 제출했다. 보고서는 시간이 지남에 따라 오류율이 극적으로 개선되었음을 문서화했다. 예를 들어, 0.001의 false acceptance rate(FAR)에서 false rejection rate(FRR)는 1993년 0.79에서 2006년 0.01로 개선되어 거의 두 자릿수 감소를 보였다. 이러한 개선의 일부는 더 높은 품질의 얼굴 이미지에 기인한 것으로 여겨진다. 2006년 최고의 결과는 매우 높은 해상도의 정지 이미지(6 메가픽셀)와 3D 스캔을 사용하는 알고리즘에서 나왔다.
Face Recognition Prize Challenge 2017
2017년에 개최된 Face Recognition Prize Challenge(FRPC)는 협조하지 않거나 촬영 사실을 인지하지 못한 개인의 이미지와 같이 엄격한 품질 제약 없이 수집된 사진에서 알고리즘을 평가했다. 검증 및 식별 작업 모두에 상이 수여되었다. 최고의 검증 알고리즘은 0.001의 false match rate(FMR)에서 0.22의 false non-match rate(FNMR)를 달성했다. 처리 속도와 협조적인 초상화 사진 세트에 대한 검증에 대해 추가 상이 수여되었다.
FRVT Ongoing
FRVT 프로그램은 현재 주기적인 보고서와 함께 상시 운영 상태에 있다. 최근 보고서 기준으로, 8백만 명 이상의 개인에 대한 여러 이미지를 포함하는 최소 6개의 사진 컬렉션에 대해 약 200개의 얼굴 인식 알고리즘을 평가한다. 고품질 비자 이미지에서 1:1 검증을 위한 최고 알고리즘은 0.0001의 false match rate에서 0.0003의 false non-match rate를 달성한다.
상시 프로그램에는 몇 가지 특수 하위 테스트가 포함된다:
- FRVT: Demographic Effects - 연령, 성별, 인종과 같은 인구통계학적 차이가 알고리즘 성능에 어떻게 영향을 미치는지 조사한다.
- FRVT MORPH - 특히 사진 신분증 발급과 관련된 얼굴 변형 탐지에 중점을 둔다.
- FACE Challenges - 소셜 미디어에 게시된 사진에서 개인을 인식하는 것을 테스트한다.
- Face in Video Evaluation(FIVE) - 종종 피사체가 적극적으로 협조하지 않는 "야생" 상태의 비디오 소스에서 개인을 식별하거나 무시하는 알고리즘의 능력을 평가한다.
후원 및 영향
FRVT는 Intelligence Advanced Research Projects Agency(IARPA), Department of Homeland Security(DHS), FBI Criminal Justice Information Services Division, Technical Support Working Group(TSWG), National Institute of Justice를 포함한 여러 미국 정부 기관의 후원을 받았다. 이 프로그램의 결과는 조달 결정, 알고리즘 개발, 그리고 얼굴 인식 기술에 대한 공공 정책 논의에 영향을 미쳤다. 독립적이고 표준화된 평가를 제공함으로써 FRVT는 생체 인식 식별 분야의 인공지능 및 기계 학습 응용 프로그램의 발전을 측정하는 벤치마크 역할을 한다.
FRVT의 상시적 성격은 딥러닝 및 신경망 아키텍처의 발전에 힘입은 얼굴 인식 기술의 급속한 진화를 반영한다. 알고리즘이 개선됨에 따라 평가는 인구통계학적 편향 및 비디오 기반 인식과 같은 새로운 과제를 해결하기 위해 범위를 계속 확장하여 기술이 현실적이고 까다로운 조건에서 평가되도록 보장한다.