美国人工智能安全研究所（AISI）是一个由国家支持的机构，成立于2023年11月，旨在评估并确保先进人工智能（AI）模型（也称为前沿AI模型）的安全性。它隶属于美国国家标准与技术研究院（NIST），该机构是美国商务部下属的联邦机构。该研究所是在全球对AI安全关注度上升的时期创建的，此前2023年有公开声明提及AI可能带来的生存风险。2025年，美国AISI更名为人工智能标准与创新中心（CAISI），反映出其向标准制定和创新支持方向的转变。该研究所是国际AI安全研究所网络的一部分，该网络包括英国、日本、法国、德国、意大利、新加坡、韩国、澳大利亚、加拿大和欧盟的对应机构，这一安排是在2024年5月的AI首尔峰会上达成的。
美国AISI的主要使命是对先进AI模型进行独立评估，制定安全指南，并促进AI开发者之间的最佳实践。这包括评估偏见、滥用和灾难性危害等风险，并向联邦机构和行业提供技术指导。该研究所与学术机构、行业伙伴和国际同行合作，以推进AI安全研究和政策。在一个Artificial intelligence系统（包括Large language model和Generative AI模型）迅速部署于各行业的时代，其工作至关重要。
成立与早期活动
美国AISI于2023年11月在AI安全峰会期间正式成立，与英国AI安全研究所同期设立。该峰会由英国首相里希·苏纳克主持，旨在将英国定位为全球AI安全监管的领导者。苏纳克强调独立安全评估的必要性，指出AI公司不能“给自己的作业打分”。美国AISI作为NIST的一部分创建，利用了该机构在测量和标准方面的专业知识。2024年4月，美国和英国达成协议，合作开展至少一项联合安全测试，这标志着国际合作的重要一步。然而，同月的一份Politico报道指出，许多AI公司未分享其最先进模型的部署前访问权限以供评估，凸显了执行方面的挑战。
角色与职责
美国AISI专注于评估前沿AI模型，这些模型是最具能力且潜在风险最高的系统。其职责包括制定评估方法、进行安全测试，并为模型开发者发布指南。该研究所还致力于缓解与Machine learning和Deep learning技术相关的风险，包括模型鲁棒性、透明度和与人类价值观的一致性等问题。它与白宫科技政策办公室等其他联邦机构合作，以协调政府范围内的AI安全工作。该研究所的工作参考了领先AI实验室的研究成果，包括OpenAI、Anthropic和Google DeepMind，以及MIT CSAIL和Stanford AI Lab等学术机构。
国际合作
作为国际AI安全研究所网络的一部分，美国AISI参与联合演练和知识共享。2025年7月，该网络举行了一次演练，探讨评估AI代理的问题，特别是涉及敏感信息泄露或网络安全威胁的情况。成员们还在2025年于圣迭戈举行的NeurIPS会议上会面，这是Neural network研究的重要会议。美国AISI与多个国家（包括英国、日本和韩国）签订了双边协议，以协调评估标准并共享技术专长。这种合作对于应对全球AI风险至关重要，因为AI模型的开发与部署跨越国界。
向CAISI的演变
2025年，美国AISI更名为人工智能标准与创新中心（CAISI）。这一变化反映了更广泛的使命，不仅要确保安全，还要促进创新和AI标准的制定。CAISI继续在NIST下运作，专注于创建行业可采纳的自愿性指南和框架。更名与美国政府对AI监管的总体方针一致，该方针强调灵活性和市场驱动的解决方案，而非严格规定。CAISI与行业利益相关者（包括Amazon Web Services、Microsoft Azure和Google Cloud等主要科技公司）密切合作，以确保安全措施切实可行，且不阻碍技术进步。
影响与挑战
美国AISI对AI安全格局产生了重大影响，影响了国内和国际政策。其评估为模型部署决策提供了信息，并促使公司改进安全实践。然而，该研究所面临挑战，包括资源有限和AI发展的快速步伐。批评者认为，自愿性指南可能不足以防止危害，而另一些人则担心过度监管。该研究所的有效性取决于其适应新技术的能力，例如支撑现代AI系统的Transformer (architecture)架构和Multi-Head Attention机制。截至2025年，该研究所持续发展，正在努力加强其评估能力并扩大国际影响力。
相关发展
其他国家也建立了类似的研究所，形成了一个全球网络。例如，英国AISI最初设在伦敦，于2024年5月在旧金山开设了办公室，以便更接近AI公司。日本AISI成立于2024年2月，隶属于信息技术促进机构，约有23名员工。韩国AISI成立于2024年11月，位于盆唐区，每年获得1000万至2000万韩元的投资支持。这些研究所共享最佳实践，并在联合项目上合作，例如2025年7月关于AI代理的演练。鉴于美国在AI开发中的领导地位及其丰富资源，美国AISI在该网络中的角色至关重要。
未来方向
展望未来，美国AISI（现为CAISI）预计将聚焦于新兴挑战，例如AI代理和自主系统的安全性。它可能会为能够在现实世界中采取行动的模型开发新的评估方法，例如用于Waymo自动驾驶汽车或Tesla的模型。该研究所还可能解决医疗和金融等关键领域中的AI相关问题，在这些领域，故障可能造成严重后果。随着AI技术的进步，对稳健安全措施的需求只会增长，这使得该研究所的使命日益重要。国际AI安全研究所网络将继续在协调全球努力方面发挥关键作用，确保在实现AI益处的同时将风险降至最低。
结论
美国人工智能安全研究所（现为人工智能标准与创新中心）是美国政府管理AI风险战略的关键组成部分。该研究所成立于2023年，已不断发展以应对快速变化的技术格局带来的挑战。通过其评估、指南和国际合作，该研究所旨在确保先进AI系统的安全开发和部署。尽管挑战依然存在，但该研究所的工作对于建立对AI的信任和保护社会免受潜在危害至关重要。随着AI继续渗透到生活的方方面面，美国AISI的使命仍将是负责任AI治理的基石。