La Prueba de Evaluación de Proveedores de Reconocimiento Facial (FRVT, por sus siglas en inglés) es una serie de evaluaciones independientes a gran escala de sistemas de reconocimiento facial, organizada por el Instituto Nacional de Estándares y Tecnología de los Estados Unidos (NIST). Iniciado en el año 2000, el programa ha evolucionado de evaluaciones periódicas a un esfuerzo continuo que evalúa de manera constante algoritmos presentados por proveedores e instituciones de investigación de todo el mundo. El FRVT mide la precisión, velocidad y robustez de la tecnología de reconocimiento facial en una variedad de tipos de imagen y escenarios operativos, y sus resultados son ampliamente utilizados por agencias gubernamentales, la industria e investigadores para medir el estado del arte.
La serie FRVT se basa en evaluaciones anteriores del NIST, en particular las evaluaciones de Tecnología de Reconocimiento Facial (FERET, por sus siglas en inglés) realizadas en 1994, 1995 y 1996. Mientras que FERET estableció metodologías de prueba fundamentales, el FRVT amplió el alcance para incluir conjuntos de datos más grandes, imágenes más desafiantes y una gama más amplia de tareas. Con el tiempo, el programa ha crecido para incluir subpruebas especializadas para el reconocimiento facial en video, la detección de morfismo facial y el análisis de efectos demográficos como edad, género y raza en el rendimiento de los algoritmos.
FRVT 2006
La evaluación FRVT 2006, realizada en 2006, fue un hito importante en la serie. Su objetivo principal era medir el progreso en sistemas de reconocimiento facial prototipo y comerciales desde la evaluación FRVT 2002. La evaluación evaluó el rendimiento en imágenes fijas de alta resolución (5 a 6 megapíxeles), escaneos faciales 3D, imágenes faciales fijas de múltiples muestras y algoritmos de preprocesamiento diseñados para compensar variaciones de pose e iluminación.
Para garantizar una evaluación precisa, FRVT 2006 utilizó datos secuestrados - imágenes no vistas previamente por investigadores o desarrolladores - y una metodología de prueba estandarizada. Todos los participantes fueron evaluados de manera uniforme utilizando un conjunto de datos común y un entorno de prueba llamado Entorno de Experimentación Biométrica (BEE, por sus siglas en inglés). El BEE simplificó la gestión de datos de prueba, la configuración de experimentos y el procesamiento de resultados, permitiendo a los experimentadores centrarse en el desarrollo de algoritmos. La evaluación fue patrocinada por múltiples agencias gubernamentales de los Estados Unidos y gestionada por el NIST.
Un objetivo del FRVT 2006 era determinar de manera independiente si se habían logrado los objetivos del Gran Desafío de Reconocimiento Facial (FRGC, por sus siglas en inglés). El FRGC, un proyecto separado de desarrollo de algoritmos realizado desde mayo de 2004 hasta marzo de 2006, tenía como objetivo producir algoritmos de reconocimiento facial un orden de magnitud mejores que los evaluados en FRVT 2002. Los datos del FRGC siguen disponibles para investigadores que firmen las licencias requeridas y sigan las reglas de distribución de datos.
Resultados del FRVT 2006
Los resultados a gran escala del FRVT 2006 se publicaron en un informe combinado con la Evaluación del Desafío del Iris (ICE, por sus siglas en inglés) 2006. La evaluación contó con aportes de 22 organizaciones de 10 países, con muchas presentando múltiples algoritmos. El informe documentó una mejora dramática en las tasas de error a lo largo del tiempo. Por ejemplo, la tasa de rechazo falso (FRR, por sus siglas en inglés) a una tasa de aceptación falsa (FAR, por sus siglas en inglés) de 0.001 mejoró de 0.79 en 1993 a 0.01 en 2006 - una reducción de casi dos órdenes de magnitud. Parte de esta mejora se atribuyó a imágenes faciales de mayor calidad. Los mejores resultados en 2006 provinieron de algoritmos que utilizaban imágenes fijas de muy alta resolución (6 megapíxeles) y escaneos 3D.
Desafío de Premios de Reconocimiento Facial 2017
El Desafío de Premios de Reconocimiento Facial (FRPC, por sus siglas en inglés), celebrado en 2017, evaluó algoritmos en fotografías recopiladas sin restricciones estrictas de calidad, como imágenes de individuos que no cooperaban o no eran conscientes de que estaban siendo fotografiados. Se otorgaron premios tanto para tareas de verificación como de identificación. El mejor algoritmo de verificación logró una tasa de no coincidencia falsa (FNMR, por sus siglas en inglés) de 0.22 a una tasa de coincidencia falsa (FMR, por sus siglas en inglés) de 0.001. Se otorgaron premios adicionales por velocidad de procesamiento y por verificación contra un conjunto de retratos cooperativos.
FRVT en curso
El programa FRVT se encuentra ahora en un estado continuo con informes periódicos. Según informes recientes, evalúa aproximadamente 200 algoritmos de reconocimiento facial contra al menos seis colecciones de fotografías que contienen múltiples imágenes de más de 8 millones de personas. En imágenes de visa de alta calidad, los mejores algoritmos para verificación 1:1 logran tasas de no coincidencia falsa de 0.0003 a tasas de coincidencia falsa de 0.0001.
El programa en curso incluye varias subpruebas especializadas:
- FRVT: Efectos Demográficos - examina cómo las diferencias demográficas como edad, género y raza afectan el rendimiento de los algoritmos.
- FRVT MORPH - se centra en la detección de morfismo facial, particularmente en relación con la emisión de credenciales fotográficas.
- Desafíos FACE - prueba el reconocimiento de individuos a partir de fotografías publicadas en redes sociales.
- Evaluación de Rostro en Video (FIVE, por sus siglas en inglés) - evalúa la capacidad de los algoritmos para identificar o ignorar personas en fuentes de video, a menudo donde el sujeto no coopera activamente, es decir, "en la naturaleza".
Patrocinadores e Impacto
El FRVT ha sido patrocinado por varias agencias gubernamentales de los Estados Unidos, incluida la Agencia de Proyectos de Investigación Avanzada de Inteligencia (IARPA, por sus siglas en inglés), el Departamento de Seguridad Nacional (DHS, por sus siglas en inglés), la División de Servicios de Información de Justicia Penal del FBI, el Grupo de Trabajo de Apoyo Técnico (TSWG, por sus siglas en inglés) y el Instituto Nacional de Justicia. Los resultados del programa han influido en decisiones de adquisición, desarrollo de algoritmos y discusiones de políticas públicas en torno a la tecnología de reconocimiento facial. Al proporcionar evaluaciones independientes y estandarizadas, el FRVT sirve como un punto de referencia para medir el progreso en aplicaciones de inteligencia artificial y aprendizaje automático en identificación biométrica.
La naturaleza continua del FRVT refleja la rápida evolución de la tecnología de reconocimiento facial, impulsada por avances en aprendizaje profundo y arquitecturas de redes neuronales. A medida que los algoritmos mejoran, la evaluación continúa expandiendo su alcance, abordando nuevos desafíos como el sesgo demográfico y el reconocimiento basado en video, asegurando que la tecnología se evalúe bajo condiciones realistas y exigentes.