O Face Recognition Vendor Test (FRVT) é uma série de avaliações independentes em larga escala de sistemas de reconhecimento facial, organizada pelo Instituto Nacional de Padrões e Tecnologia dos Estados Unidos (NIST). Iniciado em 2000, o programa evoluiu de avaliações periódicas para um esforço contínuo que avalia algoritmos submetidos por fornecedores e instituições de pesquisa em todo o mundo. O FRVT mede a precisão, a velocidade e a robustez da tecnologia de reconhecimento facial em uma variedade de tipos de imagem e cenários operacionais, e seus resultados são amplamente utilizados por agências governamentais, indústria e pesquisadores para avaliar o estado da arte.
A série FRVT baseia-se em avaliações anteriores do NIST, notavelmente as avaliações de Tecnologia de Reconhecimento Facial (FERET) conduzidas em 1994, 1995 e 1996. Enquanto o FERET estabeleceu metodologias de teste fundamentais, o FRVT expandiu o escopo para incluir conjuntos de dados maiores, imagens mais desafiadoras e uma gama mais ampla de tarefas. Com o tempo, o programa cresceu para incluir subtestes especializados para reconhecimento facial em vídeo, detecção de morfismo facial e análise de efeitos demográficos, como idade, gênero e raça, no desempenho dos algoritmos.
FRVT 2006
A avaliação FRVT 2006, conduzida em 2006, foi um marco importante na série. Seu objetivo principal era medir o progresso em sistemas de reconhecimento facial protótipos e comerciais desde a avaliação FRVT 2002. A avaliação avaliou o desempenho em imagens estáticas de alta resolução (5 a 6 megapixels), varreduras faciais 3D, imagens faciais estáticas com múltiplas amostras e algoritmos de pré-processamento projetados para compensar variações de pose e iluminação.
Para garantir uma avaliação precisa, o FRVT 2006 usou dados sequestrados - imagens não vistas anteriormente por pesquisadores ou desenvolvedores - e uma metodologia de teste padronizada. Todos os participantes foram avaliados igualmente usando um conjunto de dados e ambiente de teste comum chamado Biometric Experimentation Environment (BEE). O BEE simplificou o gerenciamento de dados de teste, a configuração de experimentos e o processamento de resultados, permitindo que os experimentadores se concentrassem no desenvolvimento de algoritmos. A avaliação foi patrocinada por múltiplas agências governamentais dos EUA e gerenciada pelo NIST.
Um objetivo do FRVT 2006 foi determinar independentemente se as metas do Face Recognition Grand Challenge (FRGC) haviam sido alcançadas. O FRGC, um projeto separado de desenvolvimento de algoritmos conduzido de maio de 2004 a março de 2006, visava produzir algoritmos de reconhecimento facial uma ordem de magnitude melhores do que aqueles avaliados no FRVT 2002. Os dados do FRGC permanecem disponíveis para pesquisadores que assinam as licenças necessárias e seguem as regras de liberação de dados.
Resultados do FRVT 2006
Os resultados em larga escala do FRVT 2006 foram publicados em um relatório combinado com a Iris Challenge Evaluation (ICE) 2006. A avaliação contou com a contribuição de 22 organizações de 10 países, com muitas submetendo múltiplos algoritmos. O relatório documentou uma melhoria dramática nas taxas de erro ao longo do tempo. Por exemplo, a taxa de falsa rejeição (FRR) a uma taxa de falsa aceitação (FAR) de 0,001 melhorou de 0,79 em 1993 para 0,01 em 2006 - uma redução de quase duas ordens de magnitude. Parte dessa melhoria foi atribuída a imagens faciais de maior qualidade. Os melhores resultados em 2006 vieram de algoritmos que usavam imagens estáticas de altíssima resolução (6 megapixels) e varreduras 3D.
Face Recognition Prize Challenge 2017
O Face Recognition Prize Challenge (FRPC), realizado em 2017, avaliou algoritmos em fotografias coletadas sem restrições rígidas de qualidade, como imagens de indivíduos que não estavam cooperando ou não estavam cientes de estarem sendo fotografados. Prêmios foram concedidos para tarefas de verificação e identificação. O melhor algoritmo de verificação alcançou uma taxa de falsa não correspondência (FNMR) de 0,22 a uma taxa de falsa correspondência (FMR) de 0,001. Prêmios adicionais foram dados pela velocidade de processamento e pela verificação contra um conjunto de fotos de retrato cooperativas.
FRVT Contínuo
O programa FRVT está agora em status contínuo com relatórios periódicos. Conforme relatórios recentes, ele avalia cerca de 200 algoritmos de reconhecimento facial contra pelo menos seis coleções de fotografias contendo múltiplas imagens de mais de 8 milhões de pessoas. Em imagens de visto de alta qualidade, os melhores algoritmos para verificação 1:1 alcançam taxas de falsa não correspondência de 0,0003 a taxas de falsa correspondência de 0,0001.
O programa contínuo inclui vários subtestes especializados:
- FRVT: Efeitos Demográficos - examina como diferenças demográficas, como idade, gênero e raça, afetam o desempenho dos algoritmos.
- FRVT MORPH - foca na detecção de morfismo facial, particularmente em relação à emissão de credenciais com foto.
- Desafios FACE - testa o reconhecimento de indivíduos a partir de fotografias publicadas em mídias sociais.
- Avaliação Facial em Vídeo (FIVE) - avalia a capacidade dos algoritmos de identificar ou ignorar pessoas em fontes de vídeo, frequentemente onde o sujeito não está cooperando ativamente, ou seja, "no mundo real".
Patrocinadores e Impacto
O FRVT foi patrocinado por várias agências governamentais dos EUA, incluindo a Intelligence Advanced Research Projects Agency (IARPA), o Departamento de Segurança Interna (DHS), a Divisão de Serviços de Informação de Justiça Criminal do FBI, o Technical Support Working Group (TSWG) e o Instituto Nacional de Justiça. Os resultados do programa influenciaram decisões de aquisição, desenvolvimento de algoritmos e discussões de políticas públicas em torno da tecnologia de reconhecimento facial. Ao fornecer avaliações independentes e padronizadas, o FRVT serve como referência para medir o progresso em aplicações de inteligência artificial e aprendizado de máquina na identificação biométrica.
A natureza contínua do FRVT reflete a rápida evolução da tecnologia de reconhecimento facial, impulsionada por avanços em arquiteturas de aprendizado profundo e redes neurais. À medida que os algoritmos melhoram, a avaliação continua a expandir seu escopo, abordando novos desafios como viés demográfico e reconhecimento baseado em vídeo, garantindo que a tecnologia seja avaliada sob condições realistas e exigentes.