FaceNet은 얼굴 인식 및 검증을 위한 딥러닝 모델로, Google 연구진이 개발했다. 이 모델은 얼굴 이미지를 128차원의 컴팩트한 유클리드 공간에 매핑하며, 임베딩 간의 제곱 L2 거리는 얼굴 유사도에 직접적으로 대응한다. 이 모델은 2015년 Florian Schroff, Dmitry Kalenichenko, James Philbin이 발표한 논문 "FaceNet: A Unified Embedding for Face Recognition and Clustering"에서 소개되었다.
분류 네트워크의 중간 병목 계층 표현을 사용했던 초기 얼굴 인식 시스템과 달리, FaceNet은 새로운 삼중항 손실 함수를 사용하여 종단 간 방식으로 훈련되었다. 이 손실 함수는 동일 인물의 임베딩 간 거리가 서로 다른 인물의 임베딩 간 거리보다 지정된 마진만큼 작도록 보장한다. 이 접근 방식 덕분에 FaceNet은 당시 여러 벤치마크 데이터셋에서 최첨단 정확도를 달성했으며, Labeled Faces in the Wild(LFW) 데이터셋에서 99.63%, YouTube Faces DB에서 95.12%의 정확도를 기록했다.
아키텍처 및 훈련
FaceNet은 깊은 합성곱 신경망(CNN) 아키텍처를 사용하며, Zeiler-Fergus(ZF) 네트워크와 Inception(GoogLeNet) 네트워크의 두 가지 주요 변형이 있다. Inception 기반 모델은 이후 버전에서 배치 정규화와 잔차 연결을 사용하여 최상의 성능을 달성했다. 네트워크는 96x96 또는 224x224 픽셀 크기의 정렬된 얼굴 크롭을 처리하여 128차원 임베딩 벡터를 생성한다.
훈련은 확률적 경사 하강법(SGD)을 사용했으며, 일부 구성에서는 Adam 최적화기를 사용했다. 삼중항 손실은 각 미니 배치 내에서 하드 포지티브 및 하드 네거티브 예제를 선택하는 삼중항 마이닝 전략을 통해 최적화되었다. 이 마이닝 기법은 수렴에 중요했으며, 무작위 삼중항 선택은 종종 훈련 속도를 느리게 만들었다. 모델은 웹 이미지에서 수집된 약 800만 개의 고유 신원에 해당하는 약 2억 개의 얼굴 이미지로 구성된 대규모 데이터셋으로 훈련되었다.
삼중항 손실
FaceNet의 핵심 혁신은 삼중항 손실 함수이다. 각 훈련 샘플에 대해 삼중항은 앵커 이미지, 포지티브 이미지(앵커와 동일 신원), 네거티브 이미지(다른 신원)로 구성된다. 손실은 앵커와 포지티브 간의 임베딩 거리가 앵커와 네거티브 간의 거리보다 최소 마진 α(일반적으로 0.2로 설정)만큼 작도록 장려한다. 손실은 L = max(0, d(a,p) - d(a,n) + α)로 정의되며, 여기서 d는 유클리드 거리를 나타낸다.
훈련 효율성을 높이기 위해 저자들은 두 가지 삼중항 선택 전략을 제안했다: 배치 하드 마이닝(배치 내에서 가장 어려운 포지티브와 네거티브 선택)과 배치 전체 마이닝(배치 내 모든 유효한 삼중항 사용). 배치 하드 전략이 가장 효과적임이 입증되었으며, 더 빠른 수렴과 더 나은 최종 정확도를 제공했다.
응용 및 영향
FaceNet의 임베딩은 얼굴 검증, 얼굴 인식, 얼굴 클러스터링 작업에 널리 채택되었다. 이 모델의 컴팩트하고 판별력 있는 임베딩 생성 능력은 최근접 이웃 알고리즘을 사용한 효율적인 유사도 검색을 가능하게 했다. 이는 이후 메트릭 러닝 연구에 영향을 미쳤으며, Google Photos의 얼굴 그룹화 기능을 포함한 다양한 상용 시스템에 통합되었다.
이 접근 방식은 얼굴 인식을 넘어 사람 재식별, 이미지 검색, 원샷 학습 등의 연구에도 영감을 주었다. 삼중항 손실 개념은 이후 언어 모델 및 추천 시스템과 같은 다른 영역에도 적용되었다.
한계 및 후속 연구
FaceNet은 정밀하게 정렬된 얼굴 크롭을 필요로 했으며, 포즈, 조명, 폐색 변화에 따라 성능이 저하되었다. 또한 얼굴 인식 시스템이 인구 통계적 편향을 나타낼 수 있으므로 개인정보 보호 및 편향에 대한 비판을 받았다. ArcFace 및 CosFace와 같은 후속 모델은 유클리드 마진 대신 각도 마진 손실을 사용하여 FaceNet을 개선했으며, 까다로운 벤치마크에서 더 나은 성능을 달성했다.
이러한 발전에도 불구하고 FaceNet은 얼굴 인식 분야의 기초적인 참조점으로 남아 있으며, 그 삼중항 손실 공식은 여전히 많은 머신러닝 과정에서 가르쳐진다. 원래 논문은 10,000회 이상 인용되어 컴퓨터 비전 연구에 지속적인 영향을 미쳤음을 반영한다.