FaceNet 是一种用于人脸识别和人脸验证的深度学习模型，由Google的研究人员开发。它将人脸图像映射到一个紧凑的128维欧几里得空间，其中嵌入之间的L2距离平方直接对应于人脸相似度。该模型在2015年由Florian Schroff、Dmitry Kalenichenko和James Philbin发表的论文《FaceNet: A Unified Embedding for Face Recognition and Clustering》中提出。
与早期使用分类网络中间瓶颈层表示的人脸识别系统不同，FaceNet使用新颖的三元组损失函数进行端到端训练。该损失函数确保同一人的嵌入之间的距离比不同人的嵌入之间的距离小一个指定的间隔。这种方法使FaceNet在当时多个基准数据集上达到了最先进的准确率，包括在LFW（Labeled Faces in the Wild）数据集上达到99.63%，在YouTube Faces DB上达到95.12%。
架构与训练
FaceNet使用深度卷积神经网络（CNN）架构，主要有两种变体：Zeiler-Fergus（ZF）网络和Inception（GoogLeNet）网络。基于Inception的模型在后期版本中采用了批归一化和残差连接，取得了最佳性能。该网络处理96x96或224x224像素的对齐人脸裁剪图像，生成128维嵌入向量。
训练使用随机梯度下降（SGD）进行，在某些配置中使用了Adam优化器。三元组损失通过一种三元组挖掘策略进行优化，该策略在每个小批量中选择难正样本和难负样本。这种挖掘技术对收敛至关重要，因为随机选择三元组往往导致训练缓慢。该模型在约2亿张人脸图像的大型数据集上训练，这些图像来自约800万个不同身份，来源于网络图像。
三元组损失
FaceNet的核心创新是三元组损失函数。对于每个训练样本，一个三元组由锚图像、正图像（与锚具有相同身份）和负图像（不同身份）组成。该损失鼓励锚与正之间的嵌入距离比锚与负之间的嵌入距离至少小一个间隔α（通常设为0.2）。损失定义为L = max(0, d(a,p) - d(a,n) + α)，其中d表示欧几里得距离。
为了提高训练效率，作者提出了两种三元组选择策略：批内困难挖掘（在一个批内选择最困难的正样本和最困难的负样本）和批内全部挖掘（使用一个批内所有有效的三元组）。批内困难策略被证明最有效，能够实现更快的收敛和更好的最终准确率。
应用与影响
FaceNet的嵌入已被广泛用于人脸验证、人脸识别和人脸聚类任务。该模型能够生成紧凑且具有判别性的嵌入，从而使用最近邻算法实现高效的相似性搜索。它影响了后续的度量学习工作，并被集成到各种商业系统中，包括Google Photos的人脸分组功能。
该方法还启发了人脸识别之外的研究，包括行人重识别、图像检索和一次性学习。三元组损失的概念后来被应用于其他领域，如语言模型和推荐系统。
局限性与后续工作
FaceNet需要精心对齐的人脸裁剪图像，其性能会因姿态、光照和遮挡变化而下降。该模型还面临关于隐私和偏见的批评，因为人脸识别系统可能表现出人口统计学差异。后续模型（如ArcFace和CosFace）通过使用角度间隔损失而非欧几里得间隔改进了FaceNet，在具有挑战性的基准上取得了更好的性能。
尽管取得了这些进展，FaceNet仍然是人脸识别领域的基础参考点，其三元组损失公式仍在许多机器学习课程中教授。原始论文已被引用超过10,000次，反映了其对计算机视觉研究的持久影响。