美国国家标准与技术研究院（NIST）是一个美国联邦机构，已制定了一项全面的人工智能安全与可信度计划。NIST AI涵盖一系列自愿性框架、标准和测试资源，旨在帮助组织管理与AI系统相关的风险。该机构在这一领域的工作在2023年《关于安全、可靠和可信赖地开发和使用人工智能的行政命令》发布后获得了显著动力，该命令指示NIST领导联邦层面的AI安全工作。
NIST的主要贡献是《AI风险管理框架》（AI RMF），首次发布于2023年1月。该框架为组织提供了一种结构化方法，以在AI生命周期的各个阶段识别、评估和缓解风险。它围绕四个核心功能组织，，治理、映射、测量和管理，，并设计为自愿性和跨行业适应性。该框架强调有效性、可靠性、安全性、保障性、韧性、问责性、透明度和公平性等原则。
AI RMF及相关出版物
AI RMF 1.0于2023年1月26日发布，此前经历了包括公众意见和研讨会在内的多方利益相关者流程。NIST随后于2024年7月发布了《AI RMF生成式AI概况》，该文件针对Generative AI系统（包括Large language model）带来的独特风险。该概况涵盖幻觉、有害偏见和潜在滥用等问题。NIST还发布了关于AI安全软件开发及AI事件分类的配套文件。
除RMF外，NIST还发布了其他几项与AI相关的出版物。《AI RMF操作手册》为实施该框架提供了实用指导。NIST还开发了《对抗性机器学习（AML）分类法》，于2024年3月发布，该分类法对Machine learning系统的攻击进行分类并提供缓解策略。这些资源旨在供AI开发者、部署者和评估者在工业界、学术界和政府中使用。
测试与评估项目
NIST运营着AI测试、评估、验证和确认（TEVV）项目，旨在开发评估AI系统性能和安全的指标与方法。这包括创建测试平台和基准数据集，以评估AI能力。2024年，NIST在商务部下属成立了美国AI安全研究所（AISI），由NIST提供技术领导。AISI开展AI安全研究，开发测试协议，并与国际伙伴合作。
一项值得注意的举措是GenAI项目，专注于评估生成式AI技术。该项目开发测量工具，用于评估AI生成内容的质量、安全性和可信度。NIST还参与《国际AI安全报告》，这是一项综合AI风险科学知识的全球性努力。
标准与国际合作
NIST通过与诸如国际标准化组织（ISO）和国际电工委员会（IEC）等组织的合作，在制定国际AI标准方面发挥关键作用。NIST为ISO/IEC 42001 AI管理系统标准和ISO/IEC 23894 AI风险管理标准做出贡献。该机构还与国家网络安全卓越中心（NCOE）合作，将AI安全融入更广泛的网络安全实践中。
NIST的AI工作由其更广泛的Artificial intelligence和Deep learning研究提供支持。该机构的信息技术实验室在计算机视觉、自然语言处理和Neural network鲁棒性等领域开展基础研究。这些研究为实用指南和测试方法的开发提供支撑。
挑战与未来方向
NIST AI在跟上快速技术进步方面面临持续挑战。AI RMF的自愿性质意味着采用并非强制，尽管联邦机构越来越需要与其保持一致。NIST继续更新其指南，以应对新兴问题，如AI驱动的网络攻击、隐私风险以及AI训练对环境的影响。截至2025年，NIST正在为特定行业（包括医疗保健和金融）开发额外的概况，并扩展其对前沿AI模型的测试能力。
该机构的工作得到了与MIT CSAIL和Stanford AI Lab等学术机构以及行业伙伴合作的补充。NIST还与国际机构合作，以在全球范围内协调AI安全标准，认识到AI系统通常跨境运作。
对AI生态系统的影响
NIST AI框架影响了组织处理AI治理的方式。包括OpenAI、Anthropic和Google DeepMind在内的主要科技公司在其安全实践中引用了AI RMF。该框架也被政府机构和国际伙伴采用，例如欧盟的《AI法案》，该法案借鉴了类似的风险导向原则。NIST对可衡量、可测试标准的强调，帮助推动AI行业转向更严格的评估实践。
尽管具有自愿性质，NIST AI已成为美国及其他地区AI安全讨论的事实参考点。其出版物在学术文献和行业报告中广泛引用，其测试项目为评估AI系统提供了中立平台。随着AI能力的持续发展，NIST在定义安全标准方面的作用可能会扩大，特别是在自主系统和AI驱动决策等领域。