美国人工智能安全研究所(AISI)是美国国家标准与技术研究院(NIST)下属的一个由政府支持的机构,其任务是评估并确保先进人工智能(AI)模型(又称前沿AI)的安全性。该研究所于2023年11月在英国举行的人工智能安全峰会期间成立,与英国的人工智能安全研究所同时设立。该研究所专注于开发AI安全的测量科学、标准和指南,包括对前沿模型进行部署前测试。2025年,美国AISI更名为人工智能标准与创新中心(CAISI),反映了其在标准制定和创新方面扩展的角色。
成立与早期活动
美国AISI是作为美国商务部下属机构NIST的一部分而创建的。其成立源于对AI安全的日益担忧,尤其是在2023年关于高级AI可能带来存在性风险的公开声明之后。在2023年11月的人工智能安全峰会上,美国和英国均宣布各自研究所的成立。美国AISI的初始使命包括为前沿AI模型开发评估方法,这些模型通常由OpenAI、Anthropic和Google DeepMind等公司开发。2024年4月,美国和英国的AISI同意合作开展至少一项联合安全测试,旨在协调评估程序。然而,据Politico在2024年4月报道,许多AI公司尚未共享其最先进模型的部署前访问权限以供评估,部分公司在等待各研究所就共同规则达成一致。
国际网络与合作
2024年5月,在人工智能首尔峰会上,国际领导人同意组建一个人工智能安全研究所网络,成员包括英国、美国、日本、法国、德国、意大利、新加坡、韩国、澳大利亚、加拿大以及欧盟的研究所。美国AISI参与该网络,该网络旨在协调安全评估并分享最佳实践。2025年7月,该网络举行了一次演习,探讨评估AI代理时的问题,特别是涉及敏感信息泄露或网络安全的问题。网络成员还在2025年于圣地亚哥举行的NeurIPS会议上会面。美国AISI还与其他国家的研究所合作,如英国的人工智能安全研究所(后更名为人工智能安全研究所)和日本的AISI,以推进全球AI安全标准。
角色与职能
美国AISI在NIST的框架下运作,NIST以其测量科学和标准制定而闻名。该研究所的关键职能包括对前沿AI模型进行评估、开发测试方法以及制定AI安全和可信赖性的指南。它与政府和私营部门利益相关者合作,包括AI开发者和研究人员。该研究所还为国际标准工作做出贡献,与NIST的更广泛使命保持一致。截至2025年,该研究所已更名为CAISI,但其对AI标准和创新的核心关注保持不变。该研究所是美国政府更广泛战略的一部分,旨在管理AI风险,同时促进机器学习和生成式AI等领域的创新。
与其他AI安全工作的关系
美国AISI与其他国家AI安全机构有所不同,例如英国的人工智能安全研究所,该所在伦敦成立,并于2024年5月在旧金山开设了办公室。美国研究所还与2024年5月成立的欧盟AI办公室以及国际网络的其他成员协调合作。虽然美国AISI侧重于国内标准和评估,但它参与全球AI安全讨论,包括在人工智能首尔峰会及后续会议上的讨论。该研究所的工作与伯克利AI研究实验室和MIT CSAIL等其他组织的工作相辅相成,后者从事AI安全的学术研究。然而,美国AISI的主要角色是监管和标准导向的,而非纯粹的研究导向。
未来方向
截至2025年,美国AISI(现为CAISI)预计将继续其在AI标准和评估方面的工作,特别是随着前沿AI模型能力的增强。该研究所很可能在塑造美国AI政策方面发挥关键作用,尤其是在大型语言模型和深度学习等领域。更名为CAISI表明其任务范围更广,包括促进创新,而不仅仅是安全。该研究所还将继续参与国际网络,该网络可能会扩展到更多国家。随着AI技术的发展,美国AISI将需要调整其评估方法,以应对来自AI代理和自主系统等的新风险。该研究所的成功将取决于其与工业界、学术界和国际伙伴合作的能力。