Der Face Recognition Vendor Test (FRVT) ist eine Reihe groß angelegter, unabhängiger Evaluierungen von Gesichtserkennungssystemen, die vom National Institute of Standards and Technology (NIST) der USA organisiert wird. Das Programm wurde im Jahr 2000 initiiert und hat sich von periodischen Bewertungen zu einer kontinuierlichen Anstrengung entwickelt, die Algorithmen von Anbietern und Forschungseinrichtungen weltweit fortlaufend benchmarkt. Der FRVT misst die Genauigkeit, Geschwindigkeit und Robustheit von Gesichtserkennungstechnologie über eine Vielzahl von Bildtypen und operativen Szenarien hinweg, und seine Ergebnisse werden von Regierungsbehörden, der Industrie und Forschern weithin genutzt, um den Stand der Technik zu bewerten.
Die FRVT-Serie baut auf früheren NIST-Evaluierungen auf, insbesondere den Face Recognition Technology (FERET)-Evaluierungen, die 1994, 1995 und 1996 durchgeführt wurden. Während FERET grundlegende Testmethoden etablierte, erweiterte der FRVT den Umfang um größere Datensätze, anspruchsvollere Bilddaten und eine breitere Palette von Aufgaben. Im Laufe der Zeit ist das Programm gewachsen und umfasst nun spezialisierte Untertests für die Erkennung von Gesichtern in Videos, die Erkennung von Gesichtsmorphing und die Analyse demografischer Effekte wie Alter, Geschlecht und ethnische Zugehörigkeit auf die Algorithmusleistung.
FRVT 2006
Die FRVT-2006-Evaluierung, die im Jahr 2006 durchgeführt wurde, war ein wichtiger Meilenstein in der Serie. Ihr Hauptziel war es, den Fortschritt von Prototyp- und kommerziellen Gesichtserkennungssystemen seit der FRVT-2002-Evaluierung zu messen. Die Evaluierung bewertete die Leistung bei hochauflösenden Standbildern (5 bis 6 Megapixel), 3D-Gesichtsscans, Mehrfach-Standbild-Gesichtsbildern und Vorverarbeitungsalgorithmen, die entwickelt wurden, um Pose- und Beleuchtungsvariationen auszugleichen.
Um eine genaue Bewertung zu gewährleisten, verwendete FRVT 2006 sequestrierte Daten - Bilder, die Forschern oder Entwicklern zuvor nicht bekannt waren - und eine standardisierte Testmethodik. Alle Teilnehmer wurden gleichmäßig mit einem gemeinsamen Datensatz und einer Testumgebung namens Biometric Experimentation Environment (BEE) bewertet. Die BEE vereinfachte die Verwaltung von Testdaten, die Konfiguration von Experimenten und die Verarbeitung von Ergebnissen, sodass sich die Experimentatoren auf die Algorithmusentwicklung konzentrieren konnten. Die Evaluierung wurde von mehreren US-Regierungsbehörden gesponsert und vom NIST verwaltet.
Ein Ziel von FRVT 2006 war es, unabhängig festzustellen, ob die Ziele der Face Recognition Grand Challenge (FRGC) erreicht worden waren. Die FRGC, ein separates Algorithmusentwicklungsprojekt, das von Mai 2004 bis März 2006 durchgeführt wurde, zielte darauf ab, Gesichtserkennungsalgorithmen zu produzieren, die eine Größenordnung besser waren als die in FRVT 2002 bewerteten. FRGC-Daten bleiben Forschern zugänglich, die die erforderlichen Lizenzen unterzeichnen und die Datenfreigaberegeln befolgen.
FRVT 2006 Ergebnisse
Die groß angelegten Ergebnisse von FRVT 2006 wurden in einem kombinierten Bericht mit der Iris Challenge Evaluation (ICE) 2006 veröffentlicht. Die Evaluierung zog Beiträge von 22 Organisationen aus 10 Ländern an, wobei viele mehrere Algorithmen einreichten. Der Bericht dokumentierte eine dramatische Verbesserung der Fehlerraten im Laufe der Zeit. Beispielsweise verbesserte sich die False Rejection Rate (FRR) bei einer False Acceptance Rate (FAR) von 0,001 von 0,79 im Jahr 1993 auf 0,01 im Jahr 2006 - eine Reduktion um fast zwei Größenordnungen. Ein Teil dieser Verbesserung wurde auf höherwertige Gesichtsbilder zurückgeführt. Die besten Ergebnisse im Jahr 2006 stammten von Algorithmen, die sehr hochauflösende Standbilder (6 Megapixel) und 3D-Scans verwendeten.
Face Recognition Prize Challenge 2017
Die Face Recognition Prize Challenge (FRPC), die 2017 stattfand, bewertete Algorithmen anhand von Fotografien, die ohne strenge Qualitätsbeschränkungen aufgenommen wurden, wie Bilder von Personen, die nicht kooperierten oder sich nicht bewusst waren, fotografiert zu werden. Preise wurden sowohl für Verifikations- als auch für Identifikationsaufgaben vergeben. Der beste Verifikationsalgorithmus erreichte eine False Non-Match Rate (FNMR) von 0,22 bei einer False Match Rate (FMR) von 0,001. Zusätzliche Preise wurden für Verarbeitungsgeschwindigkeit und für die Verifikation anhand eines Satzes kooperativer Porträtfotos vergeben.
FRVT Laufend
Das FRVT-Programm befindet sich nun in einem laufenden Status mit periodischen Berichten. Stand der letzten Berichte bewertet es etwa 200 Gesichtserkennungsalgorithmen gegen mindestens sechs Fotosammlungen mit mehreren Bildern von mehr als 8 Millionen Personen. Bei hochwertigen Visabildern erreichen die besten Algorithmen für die 1:1-Verifikation False Non-Match Rates von 0,0003 bei False Match Rates von 0,0001.
Das laufende Programm umfasst mehrere spezialisierte Untertests:
- FRVT: Demographic Effects - untersucht, wie demografische Unterschiede wie Alter, Geschlecht und ethnische Zugehörigkeit die Algorithmusleistung beeinflussen.
- FRVT MORPH - konzentriert sich auf die Erkennung von Gesichtsmorphing, insbesondere im Zusammenhang mit der Ausstellung von Fotoausweisen.
- FACE Challenges - testet die Erkennung von Personen anhand von Fotos, die in sozialen Medien veröffentlicht wurden.
- Face in Video Evaluation (FIVE) - bewertet die Fähigkeit von Algorithmen, Personen in Videoquellen zu identifizieren oder zu ignorieren, oft wenn die Person nicht aktiv kooperiert, d. h. "in the wild".
Sponsoren und Auswirkungen
Der FRVT wurde von mehreren US-Regierungsbehörden gesponsert, darunter die Intelligence Advanced Research Projects Agency (IARPA), das Department of Homeland Security (DHS), die FBI Criminal Justice Information Services Division, die Technical Support Working Group (TSWG) und das National Institute of Justice. Die Ergebnisse des Programms haben Beschaffungsentscheidungen, Algorithmusentwicklung und öffentliche Politikdiskussionen rund um Gesichtserkennungstechnologie beeinflusst. Durch die Bereitstellung unabhängiger, standardisierter Evaluierungen dient der FRVT als Benchmark zur Messung des Fortschritts in künstlicher Intelligenz und maschinellem Lernen in biometrischen Identifikationsanwendungen.
Der laufende Charakter des FRVT spiegelt die schnelle Entwicklung der Gesichtserkennungstechnologie wider, die durch Fortschritte in Deep Learning und neuronalen Netzarchitekturen vorangetrieben wird. Da sich Algorithmen verbessern, erweitert die Evaluierung weiterhin ihren Umfang, adressiert neue Herausforderungen wie demografische Verzerrung und videobasierte Erkennung und stellt sicher, dass die Technologie unter realistischen und anspruchsvollen Bedingungen bewertet wird.