美国人工智能安全研究所(AISI)是美国国家标准与技术研究院(NIST)下属的一个政府支持机构,负责评估和促进先进人工智能(AI)模型(通常称为前沿AI)的安全性。该研究所于2023年11月在英国人工智能安全峰会期间成立,与英国人工智能安全研究所同期设立,以应对人工智能可能带来的生存风险日益增长的担忧。2025年,该研究所更名为人工智能标准与创新中心(CAISI),反映出其工作重心转向更广泛的标准制定与创新推动。
该研究所作为美国商务部下属的非监管机构NIST的一部分运作。其主要使命是开发AI安全相关的测量科学、标准及评估方法,包括对前沿模型进行测试,以识别偏见、滥用及网络安全漏洞等风险。该研究所与美国其他政府机构、学术机构及私营企业合作,共同推进AI安全研究与实践活动。
成立与早期活动
美国AISI于2023年11月1日在布莱切利园举行的人工智能安全峰会上宣布成立,当时英美两国均承诺建立各自的国家级AI安全研究所。美国研究所依托NIST现有资源启动,初始资金和人员来自NIST已有的AI项目。2024年4月,美国与英国AISI同意在至少一项联合安全测试上开展合作,旨在协调评估方法。这一合作是更广泛的国际努力的一部分,目的是为AI安全制定统一标准,因为当时许多AI公司尚未将其最先进的模型在部署前提供给外部评估。
国际网络与合作
2024年5月,在首尔举行的人工智能峰会上,国际领导人同意建立一个由多国AI安全研究所组成的网络,参与方包括美国、英国、日本、法国、德国、意大利、新加坡、韩国、澳大利亚、加拿大及欧盟。美国AISI参与该网络,开展联合演练并分享最佳实践。2025年7月,该网络组织了一次演练,探讨AI智能体评估中的问题,重点关注敏感信息泄露和网络安全风险。成员们还在2025年于圣迭戈举行的NeurIPS会议上会面,讨论AI安全评估方法。
美国AISI还与外国合作伙伴开展双边合作。例如,它与英国AISI合作协调评估标准,并参与与欧盟AI办公室及其他国家研究所的讨论,以制定前沿AI测试的共同框架。
重点领域与主要成果
该研究所的重点工作领域包括:为大语言模型及其他生成式AI系统开发评估基准,制定AI风险管理指南,以及与麻省理工学院计算机科学与人工智能实验室和斯坦福人工智能实验室等学术实验室合作开展AI安全研究。它还参与制定AI透明度、问责制和稳健性相关标准,并常与NIST更广泛的AI计划协调推进。
主要成果包括AI模型评估技术报告、用于安全测试的公开数据集,以及AI风险评估框架。该研究所还参与国际标准制定工作,例如与国际标准化组织(ISO)合作,以确保AI安全实践在全球范围内保持一致。
与产业界和学术界的合作
美国AISI与领先AI公司合作,包括OpenAI、Anthropic和Google DeepMind,以获取前沿模型的部署前测试权限。它还通过与伯克利人工智能研究和卡内基梅隆大学等学术机构合作,推进AI安全研究。这些合作旨在弥合理论研究与实际安全评估之间的差距。
2024年,该研究所在获取部分先进模型的部署前访问权限方面遇到困难,据Politico报道。尽管如此,它继续推进自愿性评估项目,鼓励公司提交模型供测试。该研究所的工作还得到美国政府其他举措的补充,例如白宫发布的《AI权利法案》及关于AI安全的行政命令。
更名为CAISI
2025年,美国AISI更名为人工智能标准与创新中心(CAISI),表明其任务范围扩大,从单纯关注安全转向同时推动创新。这一变化与该研究所在AI评估标准制定及参与国际网络中的角色日益重要相一致。更名也反映了各国政府在AI治理方式上的持续演变,即在安全与经济竞争力之间寻求平衡。
截至2025年,CAISI继续在NIST框架下运作,专注于制定标准、开发工具和评估方法,以确保AI技术安全、可靠且值得信赖。随着AI系统能力不断增强并更深入地融入社会,该中心的工作仍然至关重要。