Le Face Recognition Vendor Test (FRVT) est une série d'évaluations indépendantes à grande échelle de systèmes de reconnaissance faciale, organisée par le National Institute of Standards and Technology (NIST) des États-Unis. Lancé en 2000, le programme a évolué d'évaluations périodiques vers un effort continu qui compare en permanence les algorithmes soumis par des fournisseurs et des institutions de recherche du monde entier. Le FRVT mesure la précision, la vitesse et la robustesse de la technologie de reconnaissance faciale sur une variété de types d'images et de scénarios opérationnels, et ses résultats sont largement utilisés par les agences gouvernementales, l'industrie et les chercheurs pour évaluer l'état de l'art.
La série FRVT s'appuie sur des évaluations antérieures du NIST, notamment les évaluations Face Recognition Technology (FERET) menées en 1994, 1995 et 1996. Alors que FERET a établi des méthodologies de test fondamentales, le FRVT a élargi la portée pour inclure des ensembles de données plus vastes, des images plus difficiles et une gamme plus large de tâches. Au fil du temps, le programme a intégré des sous-tests spécialisés pour la reconnaissance faciale dans les vidéos, la détection du morphing facial et l'analyse des effets démographiques tels que l'âge, le sexe et la race sur les performances des algorithmes.
FRVT 2006
L'évaluation FRVT 2006, menée en 2006, a constitué une étape majeure dans la série. Son objectif principal était de mesurer les progrès des systèmes de reconnaissance faciale prototypes et commerciaux depuis l'évaluation FRVT 2002. L'évaluation a mesuré les performances sur des images fixes haute résolution (5 à 6 mégapixels), des scans faciaux 3D, des images faciales fixes multi-échantillons et des algorithmes de prétraitement conçus pour compenser les variations de pose et d'éclairage.
Pour garantir une évaluation précise, FRVT 2006 a utilisé des données séquestrées - des images non vues auparavant par les chercheurs ou les développeurs - et une méthodologie de test standardisée. Tous les participants ont été évalués de manière uniforme à l'aide d'un ensemble de données et d'un environnement de test communs appelés Biometric Experimentation Environment (BEE). Le BEE a simplifié la gestion des données de test, la configuration des expériences et le traitement des résultats, permettant aux expérimentateurs de se concentrer sur le développement d'algorithmes. L'évaluation a été sponsorisée par plusieurs agences gouvernementales américaines et gérée par le NIST.
Un objectif du FRVT 2006 était de déterminer indépendamment si les objectifs du Face Recognition Grand Challenge (FRGC) avaient été atteints. Le FRGC, un projet distinct de développement d'algorithmes mené de mai 2004 à mars 2006, visait à produire des algorithmes de reconnaissance faciale d'un ordre de grandeur meilleurs que ceux évalués dans le FRVT 2002. Les données du FRGC restent disponibles pour les chercheurs qui signent les licences requises et respectent les règles de diffusion des données.
Résultats du FRVT 2006
Les résultats à grande échelle du FRVT 2006 ont été publiés dans un rapport combiné avec l'Iris Challenge Evaluation (ICE) 2006. L'évaluation a recueilli des contributions de 22 organisations dans 10 pays, dont beaucoup ont soumis plusieurs algorithmes. Le rapport a documenté une amélioration spectaculaire des taux d'erreur au fil du temps. Par exemple, le taux de faux rejets (FRR) à un taux de fausses acceptations (FAR) de 0,001 est passé de 0,79 en 1993 à 0,01 en 2006 - une réduction de près de deux ordres de grandeur. Une partie de cette amélioration a été attribuée à des images faciales de meilleure qualité. Les meilleurs résultats en 2006 provenaient d'algorithmes utilisant des images fixes très haute résolution (6 mégapixels) et des scans 3D.
Face Recognition Prize Challenge 2017
Le Face Recognition Prize Challenge (FRPC), organisé en 2017, a évalué des algorithmes sur des photographies collectées sans contraintes de qualité strictes, telles que des images de personnes non coopératives ou inconscientes d'être photographiées. Des prix ont été décernés pour les tâches de vérification et d'identification. Le meilleur algorithme de vérification a atteint un taux de non-correspondance faux (FNMR) de 0,22 à un taux de correspondance faux (FMR) de 0,001. Des prix supplémentaires ont été attribués pour la vitesse de traitement et pour la vérification sur un ensemble de portraits coopératifs.
FRVT en cours
Le programme FRVT est désormais en statut continu avec des rapports périodiques. Selon les rapports récents, il évalue environ 200 algorithmes de reconnaissance faciale contre au moins six collections de photographies contenant plusieurs images de plus de 8 millions de personnes. Sur des images de visa haute qualité, les meilleurs algorithmes pour la vérification 1:1 atteignent des taux de non-correspondance faux de 0,0003 à des taux de correspondance faux de 0,0001.
Le programme en cours comprend plusieurs sous-tests spécialisés :
- FRVT : Effets démographiques - examine comment les différences démographiques telles que l'âge, le sexe et la race affectent les performances des algorithmes.
- FRVT MORPH - se concentre sur la détection du morphing facial, en particulier en ce qui concerne la délivrance de pièces d'identité avec photo.
- Défis FACE - teste la reconnaissance de personnes à partir de photographies publiées sur les réseaux sociaux.
- Évaluation Face in Video (FIVE) - évalue la capacité des algorithmes à identifier ou ignorer des personnes dans des sources vidéo, souvent lorsque le sujet ne coopère pas activement, c'est-à-dire « dans la nature ».
Sponsors et impact
Le FRVT a été sponsorisé par plusieurs agences gouvernementales américaines, notamment l'Intelligence Advanced Research Projects Agency (IARPA), le Department of Homeland Security (DHS), la division des services d'information de justice pénale du FBI, le Technical Support Working Group (TSWG) et le National Institute of Justice. Les résultats du programme ont influencé les décisions d'approvisionnement, le développement d'algorithmes et les discussions de politique publique autour de la technologie de reconnaissance faciale. En fournissant des évaluations indépendantes et standardisées, le FRVT sert de référence pour mesurer les progrès dans les applications d'intelligence artificielle et de apprentissage automatique dans l'identification biométrique.
La nature continue du FRVT reflète l'évolution rapide de la technologie de reconnaissance faciale, stimulée par les avancées dans les architectures de apprentissage profond et de réseaux neuronaux. À mesure que les algorithmes s'améliorent, l'évaluation continue d'élargir sa portée, abordant de nouveaux défis tels que les biais démographiques et la reconnaissance basée sur la vidéo, garantissant que la technologie est évaluée dans des conditions réalistes et exigeantes.