Labeled Faces in the Wild(LFW)은 얼굴 인식을 위해 널리 사용되는 벤치마크 데이터셋으로, 웹에서 수집한 5,749명의 개인에 대한 13,233개의 이미지로 구성되어 있다. 이 데이터셋은 포즈, 조명, 표정, 배경의 변화가 흔한 제약 없는 환경에서 얼굴을 인식하도록 설계된 알고리즘을 위한 현실적이고 도전적인 테스트베드를 제공하기 위해 만들어졌다. 2007년 토론토 대학교와 MIT 컴퓨터 과학 및 인공 지능 연구소의 연구자들에 의해 소개되었다(주요 개발은 매사추세츠 대학교 애머스트에서 이루어졌다). 이 데이터셋은 머신 러닝과 컴퓨터 비전 분야의 표준 참조 자료가 되었으며, 다양한 얼굴 검증 시스템의 성능을 비교하는 데 자주 사용된다.
LFW의 이미지는 뉴스 기사 및 기타 웹 소스에서 자동으로 다운로드되어 얼굴 모습의 자연스러운 분포를 보장한다. 통제된 조건에서 촬영된 초기 데이터셋과 달리 LFW는 실제 사진의 가변성을 반영한다. 각 이미지는 얼굴을 중심으로 구성되고 개인의 이름으로 레이블이 지정되며, 일부 개인은 여러 이미지를 가지고 있다. LFW와 관련된 주요 작업은 얼굴 검증이다. 두 이미지가 주어지면 시스템이 동일한 사람을 묘사하는지 여부를 결정해야 한다. 이 작업은 훈련 및 테스트를 위한 특정 이미지 쌍을 정의하는 표준 프로토콜을 사용하여 평가된다.
역사 및 제작
LFW는 스튜디오와 유사한 조건을 사용한 FERET 데이터베이스와 같은 기존 데이터셋보다 더 현실적인 벤치마크의 필요성에 대한 응답으로 개발되었다. 이 데이터셋은 매사추세츠 대학교 애머스트의 Gary B. Huang, Manu Ramesh, Tamara Berg, Erik Learned-Miller가 이끄는 팀에 의해 구성되었다. 첫 번째 버전은 2007년에 출시되었으며, 이후 업데이트를 통해 더 많은 이미지와 정제된 레이블이 추가되었다. 최종 버전인 LFW에는 5,749명의 개인에 대한 13,233개의 이미지가 포함되어 있으며, 1,680명은 두 개 이상의 서로 다른 사진을 가지고 있다.
제작 과정은 대규모 뉴스 이미지 컬렉션에서 얼굴을 찾기 위해 얼굴 감지기를 사용한 후, 정확성을 보장하기 위해 수동 레이블링을 수행하는 것을 포함했다. 이 반자동 접근 방식은 크고 다양한 데이터셋을 효율적으로 수집할 수 있게 했다. 연구자들은 또한 교차 검증을 위해 10개의 폴드로 분할된 6,000개의 얼굴 쌍 세트를 포함한 명확한 평가 프로토콜을 확립했다. 이 프로토콜은 다양한 연구에서 결과를 비교 가능하게 만드는 데 중요한 역할을 했다.
데이터셋 구조 및 내용
데이터셋은 각 개인에 대한 폴더로 구성되며, 이미지는 일관된 규칙에 따라 이름이 지정된다. 각 이미지는 컬러 JPEG로, 일반적으로 250 x 250 픽셀이며 얼굴이 대략 중앙에 위치한다. 이미지는 웹 출처를 반영하여 품질과 해상도가 다양하다. 각 사람에 대해 이미지 파일 이름과 정렬에 사용할 수 있는 눈 좌표를 나열하는 해당 텍스트 파일이 있다.
LFW에는 정치인, 배우, 운동선수 및 기타 공인을 포함한 다양한 개인이 포함된다. 사람당 이미지 분포는 매우 왜곡되어 있다. 많은 개인은 하나의 이미지만 가지고 있는 반면, 소수는 수십 개를 가지고 있다. 이러한 불균형은 제한된 데이터에서 강력한 특징 추출을 요구하므로 알고리즘에 현실적인 도전 과제이다. 데이터셋에는 동일한 소스의 추가 데이터 사용을 허용하는 '제한 없는' 훈련 프로토콜을 위한 별도의 이미지 세트도 포함된다.
평가 프로토콜 및 벤치마크
표준 LFW 평가 프로토콜은 이미지 제한 및 제한 없는 두 가지 주요 작업을 정의한다. 이미지 제한 설정에서 알고리즘은 제공된 훈련 쌍(5,400개의 양성 쌍과 5,400개의 음성 쌍)만 사용할 수 있다. 제한 없는 설정은 데이터셋의 신원 레이블과 추가 이미지 사용을 허용한다. 성능은 각 폴드에 600개의 쌍(300개의 양성 및 300개의 음성)이 포함된 10개 폴드에 대한 평균 분류 정확도로 측정된다.
수년에 걸쳐 LFW는 얼굴 인식의 진행 상황을 추적하는 핵심 벤치마크였다. 수작업 특징을 사용한 초기 시스템은 약 80-90%의 정확도를 달성했다. 딥 러닝 방법, 특히 신경망과 합성곱 신경망의 도입은 상당한 개선으로 이어졌다. 2014년 Facebook의 DeepFace 시스템은 97.35%의 정확도를 달성하여 인간 수준의 성능에 근접했다. Google의 FaceNet과 같은 후속 모델은 99% 이상의 정확도에 도달하여 데이터셋에서 인간 수준의 성능을 능가했다. 이러한 발전은 원시 픽셀에서 판별적 특징을 추출하는 딥 러닝의 힘을 입증했다.
영향 및 유산
LFW는 얼굴 인식 분야에 지속적인 영향을 미쳤다. 알고리즘을 비교하기 위한 공통 기반을 제공하고 더 정교한 기술의 개발을 촉진했다. 제약 없는 조건에 대한 데이터셋의 강조는 실제 세계의 변동에 대한 견고성의 중요성을 강조했다. 상업용 애플리케이션에 사용되는 시스템을 포함한 많은 최첨단 시스템이 표준 검사로 LFW에서 평가되었다.
LFW에서 딥 러닝의 성공은 수백만 개의 이미지를 포함하는 MegaFace 및 MS-Celeb-1M과 같은 더 크고 도전적인 데이터셋의 생성에도 영향을 미쳤다. 그러나 LFW는 관리 가능한 크기와 잘 정의된 프로토콜로 인해 여전히 귀중한 자원으로 남아 있다. 빠른 프로토타이핑과 교육 목적으로 자주 사용된다. 데이터셋은 연구 목적으로 자유롭게 사용할 수 있으며, 도구와 문서가 널리 채택되었다.
한계 및 비판
인기에도 불구하고 LFW에는 몇 가지 한계가 있다. 이미지는 상대적으로 저해상도(250x250 픽셀)로 현대의 고해상도 소스를 반영하지 못할 수 있다. 데이터셋은 또한 서양 공인에 편향되어 다양성이 제한된다. 또한 검증 작업은 유용하지만 대규모 갤러리에서의 식별과 같은 얼굴 인식의 모든 측면을 포착하지는 못한다. 일부 연구자들은 LFW의 정확도가 포화 상태에 이르렀으며, 많은 현대 시스템이 거의 완벽한 점수를 달성하여 최고 수준의 알고리즘을 비교하는 데 덜 변별적이라고 지적했다.
또 다른 비판은 표준화된 평가 프로토콜이 실제 배포 시나리오를 완전히 대표하지 않을 수 있다는 점이다. 예를 들어, 쌍은 미리 정의되어 있으며 극단적인 포즈 변화나 폐색과 같은 도전적인 경우를 포함하지 않을 수 있다. 결과적으로 연구자들은 더 포괄적인 평가를 얻기 위해 IJB-A 또는 YTF와 같은 다른 벤치마크로 LFW를 보완하는 경우가 많다. 그럼에도 불구하고 LFW의 분야 발전에 대한 역사적 역할은 논쟁의 여지가 없으며, 얼굴 인식 연구의 기초 데이터셋으로 남아 있다.
같이 보기
참고 문헌
- Huang, G. B., Ramesh, M., Berg, T., & Learned-Miller, E. (2007). Labeled Faces in the Wild: A Database for Studying Face Recognition in Unconstrained Environments. Technical Report 07-49, University of Massachusetts, Amherst.
- Taigman, Y., Yang, M., Ranzato, M., & Wolf, L. (2014). DeepFace: Closing the Gap to Human-Level Performance in Face Verification. CVPR.
- Schroff, F., Kalenichenko, D., & Philbin, J. (2015). FaceNet: A Unified Embedding for Face Recognition and Clustering. CVPR.