人脸识别技术评测(FRVT)是由美国国家标准与技术研究院(NIST)组织的一系列大规模、独立的人脸识别系统评估。该项目始于2000年,已从定期评估演变为一项持续进行的工作,不断对全球供应商和研究机构提交的算法进行基准测试。FRVT衡量人脸识别技术在各种图像类型和操作场景下的准确性、速度和鲁棒性,其结果被政府机构、行业和研究人员广泛用于评估技术发展水平。
FRVT系列建立在NIST早期评估的基础上,特别是1994年、1995年和1996年进行的人脸识别技术(FERET)评估。FERET确立了基础测试方法,而FRVT则将范围扩展至更大的数据集、更具挑战性的图像以及更广泛的任务。随着时间的推移,该项目已发展出针对视频中人脸识别、面部变形检测以及年龄、性别和种族等人口统计特征对算法性能影响分析的专门子测试。
FRVT 2006
2006年进行的FRVT 2006评估是该系列的一个重要里程碑。其主要目标是衡量自FRVT 2002评估以来原型和商用人脸识别系统的进展。该评估测试了高分辨率静态图像(5至6百万像素)、3D面部扫描、多样本静态面部图像,以及旨在补偿姿态和光照变化的预处理算法。
为确保评估的准确性,FRVT 2006使用了隔离数据,,即研究人员或开发者此前未见过图像,,以及标准化测试方法。所有参与者均使用通用数据集和名为生物特征实验环境(BEE)的测试环境进行平等评估。BEE简化了测试数据管理、实验配置和结果处理,使实验者能够专注于算法开发。该评估由多个美国政府机构赞助,并由NIST管理。
FRVT 2006的目标之一是独立确定人脸识别大挑战(FRGC)的目标是否已实现。FRGC是一个独立的算法开发项目,于2004年5月至2006年3月进行,旨在开发出比FRVT 2002评估的算法性能高一个数量级的人脸识别算法。FRGC数据仍可供签署所需许可并遵守数据发布规则的研究人员使用。
FRVT 2006结果
FRVT 2006的大规模结果与2006年虹膜挑战评估(ICE)合并报告发布。该评估汇集了来自10个国家的22个组织的意见,其中许多组织提交了多种算法。报告记录了错误率随时间的显著改善。例如,在误接受率(FAR)为0.001时,误拒绝率(FRR)从1993年的0.79改善至2006年的0.01,,降低了近两个数量级。这一改善部分归因于更高质量的人脸图像。2006年最佳结果来自使用超高分辨率静态图像(6百万像素)和3D扫描的算法。
人脸识别奖金挑战赛2017
2017年举行的人脸识别奖金挑战赛(FRPC)评估了在无严格质量约束条件下拍摄的照片上的算法,例如被拍摄者不配合或不知情的情况。验证和识别任务均设有奖项。最佳验证算法在误匹配率(FMR)为0.001时实现了0.22的误非匹配率(FNMR)。此外,还针对处理速度以及一组配合拍摄的肖像照片验证颁发了额外奖项。
FRVT持续评估
FRVT项目目前处于持续状态,并定期发布报告。根据最新报告,它评估约200种人脸识别算法,涉及至少六个照片集合,包含超过800万人的多张图像。在高品质签证图像上,最佳1:1验证算法在误匹配率为0.0001时实现了0.0003的误非匹配率。
持续项目包括几个专门子测试:
- FRVT:人口统计影响,,研究年龄、性别和种族等人口统计差异如何影响算法性能。
- FRVT MORPH,,专注于面部变形检测,特别是与照片证件签发相关的检测。
- FACE挑战,,测试从社交媒体上发布的照片中识别个人的能力。
- 视频人脸评估(FIVE),,评估算法在视频源中识别或忽略个人的能力,通常在被测对象不主动配合的情况下,即“在野”场景。
赞助方与影响
FRVT已获得多个美国政府机构的赞助,包括情报高级研究计划局(IARPA)、国土安全部(DHS)、FBI刑事司法信息服务处、技术支持工作组(TSWG)以及国家司法研究所。该项目的结果影响了采购决策、算法开发以及围绕人脸识别技术的公共政策讨论。通过提供独立、标准化的评估,FRVT作为衡量人工智能和机器学习在生物特征识别中应用进展的基准。
FRVT的持续性质反映了人脸识别技术的快速演进,这得益于深度学习和神经网络架构的进步。随着算法的改进,评估继续扩大其范围,解决人口统计偏差和基于视频的识别等新挑战,确保技术在现实且具有挑战性的条件下得到评估。