FaceNetは、深層学習による顔認識および顔検証のためのモデルであり、Googleの研究者によって開発された。このモデルは、顔画像をコンパクトな128次元のユークリッド空間に写像し、埋め込み間のL2距離の二乗が顔の類似度に直接対応する。このモデルは、Florian Schroff、Dmitry Kalenichenko、James Philbinによる2015年の論文「FaceNet: A Unified Embedding for Face Recognition and Clustering」で発表された。
分類ネットワークの中間ボトルネック層表現を用いた従来の顔認識システムとは異なり、FaceNetは新しいトリプレット損失関数を用いてエンドツーエンドで訓練された。この損失関数は、同一人物の埋め込み間の距離が、異なる人物の埋め込み間の距離よりも指定されたマージンだけ小さくなることを保証する。このアプローチにより、FaceNetは当時の複数のベンチマークデータセットで最先端の精度を達成し、Labeled Faces in the Wild（LFW）データセットで99.63%、YouTube Faces DBで95.12%を記録した。
アーキテクチャと訓練
FaceNetは深層畳み込みニューラルネットワーク（CNN）アーキテクチャを使用し、Zeiler-Fergus（ZF）ネットワークとInception（GoogLeNet）ネットワークの2つの主要な変種がある。Inceptionベースのモデルは、後のバージョンでバッチ正規化と残差接続を採用し、最高の性能を達成した。このネットワークは、96x96または224x224ピクセルの整列された顔クロップを処理し、128次元の埋め込みベクトルを生成する。
訓練は確率的勾配降下法（SGD）を用いて行われ、一部の構成ではAdamオプティマイザが使用された。トリプレット損失は、各ミニバッチ内でハードな正例とハードな負例を選択するトリプレットマイニング戦略を用いて最適化された。このマイニング手法は収束に不可欠であり、ランダムなトリプレット選択では訓練が遅くなることが多かった。モデルは、ウェブ画像から収集された約800万の固有の人物IDに由来する約2億枚の顔画像からなる大規模データセットで訓練された。
トリプレット損失
FaceNetの核心的な革新はトリプレット損失関数である。各訓練サンプルについて、トリプレットはアンカー画像、正例画像（アンカーと同じ人物）、負例画像（異なる人物）で構成される。この損失は、アンカーと正例の間の埋め込み距離が、アンカーと負例の間の距離よりも少なくともマージンα（通常0.2に設定）だけ小さくなることを促す。損失はL = max(0, d(a,p) - d(a,n) + α)として定義され、ここでdはユークリッド距離を表す。
訓練を効率化するため、著者らは2つのトリプレット選択戦略を提案した。バッチハードマイニング（バッチ内で最もハードな正例と負例を選択）とバッチオールマイニング（バッチ内のすべての有効なトリプレットを使用）である。バッチハード戦略が最も効果的であり、より速い収束とより良い最終精度をもたらした。
応用と影響
FaceNetの埋め込みは、顔検証、顔認識、顔クラスタリングのタスクで広く採用されている。このモデルがコンパクトで識別力のある埋め込みを生成できる能力により、最近傍アルゴリズムを用いた効率的な類似性検索が可能になった。これはその後のメトリック学習の研究に影響を与え、Google Photosの顔グループ化機能など、さまざまな商用システムに統合された。
このアプローチは、顔認識を超えた研究、例えば人物再識別、画像検索、ワンショット学習にも影響を与えた。トリプレット損失の概念は後に、言語モデルやレコメンデーションシステムなどの他の領域にも適応された。
制限とその後の研究
FaceNetは注意深く整列された顔クロップを必要とし、ポーズ、照明、遮蔽の変化に応じて性能が低下した。また、顔認識システムが人口統計学的な格差を示す可能性があるため、プライバシーとバイアスに関する批判も受けた。ArcFaceやCosFaceなどのその後のモデルは、ユークリッドマージンの代わりに角度マージン損失を使用してFaceNetを改善し、困難なベンチマークでより良い性能を達成した。
これらの進歩にもかかわらず、FaceNetは顔認識分野における基礎的な参照点であり続けており、そのトリプレット損失の定式化は多くの機械学習コースで今も教えられている。元の論文は1万回以上引用されており、コンピュータビジョン研究への永続的な影響を反映している。