Face Recognition Vendor Test（FRVT）は、米国国立標準技術研究所（NIST）が主催する、顔認識システムの大規模かつ独立した評価シリーズである。2000年に開始されたこのプログラムは、定期的な評価から、世界中のベンダーや研究機関が提出するアルゴリズムを継続的にベンチマークする継続的な取り組みへと進化してきた。FRVTは、多様な画像タイプや運用シナリオにわたる顔認識技術の精度、速度、堅牢性を測定し、その結果は政府機関、産業界、研究者によって最先端技術を評価するために広く利用されている。
FRVTシリーズは、1994年、1995年、1996年に実施されたFace Recognition Technology（FERET）評価など、NISTの初期の評価に基づいている。FERETが基礎的なテスト方法論を確立した一方で、FRVTはより大規模なデータセット、より困難な画像、より広範なタスクを含むように範囲を拡大した。時間の経過とともに、プログラムは、ビデオ内顔認識、顔モーフィング検出、年齢、性別、人種などの人口統計学的要因がアルゴリズム性能に与える影響の分析など、専門的なサブテストを含むように成長してきた。
FRVT 2006
2006年に実施されたFRVT 2006評価は、このシリーズにおける主要なマイルストーンであった。その主な目的は、FRVT 2002評価以降のプロトタイプおよび商用顔認識システムの進歩を測定することであった。この評価では、高解像度静止画像（5〜6メガピクセル）、3D顔スキャン、複数サンプルの静止顔画像、およびポーズや照明の変動を補正するための前処理アルゴリズムの性能が評価された。
正確な評価を確保するため、FRVT 2006は、研究者や開発者が以前に見たことのない隔離データと、標準化されたテスト方法論を使用した。すべての参加者は、Biometric Experimentation Environment（BEE）と呼ばれる共通のデータセットとテスト環境を使用して均等に評価された。BEEは、テストデータ管理、実験設定、結果処理を簡素化し、実験者がアルゴリズム開発に集中できるようにした。この評価は、複数の米国政府機関がスポンサーとなり、NISTが管理した。
FRVT 2006の目的の1つは、Face Recognition Grand Challenge（FRGC）の目標が達成されたかどうかを独立して判断することであった。FRGCは、2004年5月から2006年3月まで実施された別のアルゴリズム開発プロジェクトであり、FRVT 2002で評価されたものよりも一桁優れた顔認識アルゴリズムを生成することを目的としていた。FRGCデータは、必要なライセンスに署名し、データ公開規則に従う研究者が引き続き利用できる。
FRVT 2006の結果
FRVT 2006の大規模な結果は、Iris Challenge Evaluation（ICE）2006との合同レポートで公開された。この評価には、10か国の22組織が参加し、多くが複数のアルゴリズムを提出した。レポートは、時間の経過に伴うエラー率の劇的な改善を記録した。例えば、偽受入率（FAR）0.001での偽拒否率（FRR）は、1993年の0.79から2006年には0.01へと改善され、ほぼ2桁の減少となった。この改善の一部は、より高品質な顔画像に起因するとされた。2006年の最良の結果は、非常に高解像度の静止画像（6メガピクセル）と3Dスキャンを使用するアルゴリズムから得られた。
Face Recognition Prize Challenge 2017
2017年に開催されたFace Recognition Prize Challenge（FRPC）は、厳格な品質制約なしに収集された写真、例えば、協力的でない個人や撮影されていることに気づいていない個人の画像に対してアルゴリズムを評価した。検証タスクと識別タスクの両方で賞が授与された。最良の検証アルゴリズムは、偽一致率（FMR）0.001で偽非一致率（FNMR）0.22を達成した。処理速度と、協力的な肖像写真セットに対する検証に対しても追加の賞が与えられた。
FRVT Ongoing
FRVTプログラムは現在、継続的なステータスにあり、定期的にレポートが発行されている。最近のレポートによると、800万人以上の複数の画像を含む少なくとも6つの写真コレクションに対して、約200の顔認識アルゴリズムを評価している。高品質のビザ画像では、1:1検証の最良のアルゴリズムは、偽一致率0.0001で偽非一致率0.0003を達成している。
継続的なプログラムには、いくつかの専門的なサブテストが含まれる：
- FRVT: Demographic Effects - 年齢、性別、人種などの人口統計学的差異がアルゴリズム性能に与える影響を調査する。
- FRVT MORPH - 特に写真資格情報の発行に関連する顔モーフィングの検出に焦点を当てる。
- FACE Challenges - ソーシャルメディアに投稿された写真からの個人認識をテストする。
- Face in Video Evaluation（FIVE） - ビデオソース内の人物を識別または無視するアルゴリズムの能力を評価する。多くの場合、被写体が積極的に協力していない、つまり「非協力的な環境」での評価である。
スポンサーと影響
FRVTは、Intelligence Advanced Research Projects Agency（IARPA）、Department of Homeland Security（DHS）、FBI Criminal Justice Information Services Division、Technical Support Working Group（TSWG）、National Institute of Justiceなど、複数の米国政府機関によってスポンサーされてきた。プログラムの結果は、調達決定、アルゴリズム開発、顔認識技術に関する公共政策の議論に影響を与えてきた。独立した標準化された評価を提供することにより、FRVTは、人工知能および機械学習の生体認証アプリケーションにおける進歩を測定するためのベンチマークとして機能している。
FRVTの継続的な性質は、深層学習およびニューラルネットワークアーキテクチャの進歩によって推進される顔認識技術の急速な進化を反映している。アルゴリズムが改善されるにつれて、評価はその範囲を拡大し続け、人口統計学的バイアスやビデオベースの認識などの新しい課題に対処し、技術が現実的で厳しい条件下で評価されることを保証している。