NIST AI风险管理框架(AI RMF)是美国联邦机构国家标准与技术研究院(NIST)发布的一份自愿性指导文件。该框架于2023年1月发布,为组织识别、评估和管理与人工智能系统相关的风险提供了一种结构化的、基于流程的方法。该框架旨在适用于各行业和不同规模的组织,为AI风险治理提供通用语言和实践集,而不施加监管性强制要求。它补充但不取代现有的法律和监管义务,并旨在与其他风险管理标准一同使用。
AI RMF是NIST为响应2020年关于AI的行政命令而启动的多利益相关方流程的成果。它借鉴了现有的风险管理实践,如网络安全和企业风险领域的实践,并将其适应于AI的独特特征,包括其社会技术性质、数据依赖性以及产生意外伤害的可能性。该框架强调,AI风险不仅是技术性的,还涉及社会、伦理和组织层面,并鼓励采取主动、持续的风险管理方法,而非一次性的合规活动。
核心功能
AI RMF围绕四个核心功能组织:治理(Govern)、映射(Map)、衡量(Measure)和管理(Manage)。每个功能代表组织为有效管理AI风险应开展的高层活动类别。这些功能并非旨在按严格的线性顺序执行,而是迭代且相互关联的,具有反馈循环,允许持续改进。
治理功能侧重于建立组织进行AI风险管理所需的结构、政策和流程。它包括定义风险管理角色和职责、将AI风险整合到更广泛的企业风险管理中,以及确保AI系统与组织价值观和法律要求保持一致等活动。该功能还涉及整个AI生命周期中对透明度、问责制和利益相关方参与的需求。
映射功能涉及理解AI系统运行的背景,包括其预期目的、使用的数据以及对个人和社区的潜在影响。映射活动包括识别系统的能力和局限性、分析社会技术背景,以及记录假设和潜在故障模式。该功能通过阐明系统设计目的及其可能出错之处,帮助组织建立风险评估的基线。
衡量功能侧重于使用多种方法评估和量化AI风险。这包括制定指标和评估程序、在不同条件下测试系统,以及分析结果以确定潜在伤害的可能性和严重程度。衡量可涉及技术测试,如评估模型在机器学习基准上的表现,以及考虑社会伦理因素的定性评估。该框架鼓励同时使用定量和定性方法,认识到某些风险难以量化。
管理功能涉及就如何应对已识别风险做出决策并实施这些决策。这包括确定风险优先级、选择缓解策略,以及随时间监控这些策略的有效性。管理活动可能涉及重新设计系统、增加保障措施、提供人工监督,或在风险不可接受时停用系统。该框架强调风险管理是一个持续的过程,需要随着系统演变或新信息的出现而定期审查和调整。
关键原则与特征
AI RMF建立在指导其应用的若干关键原则之上。其中最重要的一点是,AI风险管理应是一项社会技术性工作,意味着必须考虑技术系统与其使用社会环境之间的相互作用。该原则认识到,AI伤害通常源于算法与人类行为、制度实践和社会规范的互动,仅靠技术修复是不够的。
另一项原则是,风险管理应是自愿且灵活的,允许组织根据自身具体情况调整框架。该框架不规定具体工具或技术,而是提供一套可适应不同行业、用例和成熟度水平的实践。它还鼓励组织超越最低合规要求,努力持续提升风险管理能力。
该框架还强调透明度和沟通的重要性。鼓励组织记录其风险管理活动,并与用户、监管机构和受影响社区等利益相关方沟通。这种透明度有助于建立信任,并实现外部监督,从而带来更好的风险识别和缓解。
与其他标准和法规的关系
AI RMF旨在补充美国和国际上的现有标准和法规。它与欧盟AI法案基于风险的方法的一般原则保持一致,该方法将AI系统分为不同的风险层级并施加相应义务。然而,AI RMF是自愿性的,而欧盟AI法案是具有约束力的法规,对高风险AI系统有具体要求。在多个司法管辖区运营的组织可将AI RMF作为其风险管理实践的基线,然后根据适用的更严格法律要求进行调整。
该框架还建立在NIST早期工作的基础上,如NIST人脸识别供应商测试,该测试评估人脸识别算法的准确性和偏差。虽然该计划侧重于具体的技术性能,但AI RMF采取了更广泛的视角,涵盖AI系统从设计到部署和退役的完整生命周期。
开发与采用
NIST于2020年启动了AI RMF的开发流程,此前一项关于AI的行政命令指示该机构创建管理AI风险的框架。该流程涉及一系列研讨会、公众意见征询期以及与来自行业、学术界和公民社会的专家的磋商。框架第一版于2023年1月发布,并附有AI RMF操作手册,提供更详细的指导和示例。
自发布以来,AI RMF已被各行业组织广泛采用,包括科技公司、医疗保健提供者、金融机构和政府机构。许多组织将其作为制定自身AI治理计划的起点,有些已将其整合到现有的风险管理框架中。该框架还影响了关于AI治理的国际讨论,为其他国家制定类似指南提供了参考。
批评与局限性
尽管被广泛采用,AI RMF仍面临批评。一些批评者认为,其自愿性质不足以应对AI的潜在伤害,尤其是在招聘、贷款和刑事司法等高风险应用中。他们认为,在没有强制性要求的情况下,组织可能不会充分投资于风险管理,尤其是在存在竞争性业务压力时。
其他人指出,该框架的通用性可能使其在实践中难以应用,因为它未提供可接受风险的具体指标或阈值。组织可能难以解释框架的原则并将其转化为具体行动。此外,该框架被批评为未充分解决AI开发者与受影响社区之间的权力不平衡,且过度依赖自我评估而非独立监督。
未来方向
NIST继续发展AI RMF,计划根据反馈和AI技术的新兴发展进行更新。该机构还开发了相关资源,如AI RMF生成式AI配置文件,该文件针对生成式AI系统(如大型语言模型)特有的风险提供指导。该配置文件提供了关于管理错误信息、版权侵权和模型幻觉等风险的额外指导。
随着AI技术的不断进步,AI RMF可能在塑造组织AI治理方法方面发挥越来越重要的作用。其对社会技术风险管理和持续改进的强调提供了一个灵活的基础,能够适应新挑战,而其自愿性质允许创新和实验。然而,该框架的有效性将取决于组织在多大程度上真正致力于其原则并将其整合到运营中。
结论
NIST AI风险管理框架代表了在快速发展的领域中为管理AI风险提供实用指导的重要努力。通过强调社会技术方法、持续改进和利益相关方参与,它为寻求开发负责任AI系统的组织提供了宝贵资源。尽管并非没有局限性,但随着AI在社会中日益普及,其对美国和国际AI治理的影响可能会持续增长。