英国AI安全研究所（UK AISI）是一个由国家支持的组织，成立于2023年11月，旨在评估并确保先进人工智能（AI）模型的安全性，尤其是前沿AI系统。其成立标志着全球迈向正式AI安全监管的重要一步，此前在2023年有关于AI可能带来生存风险的公开声明。该研究所由前沿AI工作组演变而来，并由首相里希·苏纳克宣布成立，他强调独立安全评估的必要性，指出AI公司不能“给自己的作业打分”。该研究所最初位于伦敦，后于2024年5月扩展至旧金山，以更接近主要AI开发者。2025年，它更名为AI安全研究所，反映出对安全问题的更广泛关注。
背景与动机
人工智能安全研究所的概念作为一种国家支持的组织形式出现，旨在评估并确保先进AI模型的安全性。2023年，AI安全受到广泛关注，研究人员和行业领袖就AI可能带来的生存风险发表了 notable 公开声明。英国政府在首相里希·苏纳克的领导下，力求将本国定位为AI安全监管的领导者。苏纳克表示，他有意“让英国不仅成为全球AI安全监管的知识之家，也成为其地理之家”，并公布了AI安全峰会的计划。该峰会于2023年11月在布莱切利园举行，这是一个以二战期间密码破译角色而闻名的历史遗址，象征着英国对技术安全的承诺。
成立与演变
英国AISI于2023年11月在AI安全峰会期间正式成立，由同年早些时候创建的前沿AI工作组演变而来。该研究所的主要任务是在前沿AI模型部署前进行安全评估，重点关注诸如Large language model推理、Generative AI内容生成以及潜在滥用等能力。该研究所旨在提供独立评估，减少对AI公司自我评估的依赖。2024年4月，英国和美国达成协议，合作开展至少一项联合安全测试，标志着国际合作的一个里程碑。英国AISI于2024年5月宣布将在旧金山开设办事处，许多领先AI公司，包括OpenAI、Anthropic和Google DeepMind，总部均设于此。据英国技术大臣米歇尔·多尼兰称，此举是“制定AI安全新国际标准”计划的一部分。
国际网络
英国AISI的成立促进了全球AI安全研究所网络的形成。在2024年5月的AI首尔峰会上，国际领导人同意组建一个网络，涵盖英国、美国、日本、法国、德国、意大利、新加坡、韩国、澳大利亚、加拿大和欧盟的研究所。该网络旨在协调评估程序并分享最佳实践。2025年7月，该网络举行了一次演习，探讨评估AI代理的问题，特别是涉及敏感信息泄露或网络安全的问题。成员们还在2025年于圣迭戈举行的NeurIPS会议上会面，这是一个Machine learning研究的重要会议，讨论进展和未来方向。
具体研究所
澳大利亚
阿尔巴尼斯政府于2025年11月25日宣布成立澳大利亚AI安全研究所。该研究所隶属于工业、科学和资源部，并由四年29,900,000澳元的预算支持。其总经理是凯特·康罗伊，她还在澳大利亚皇家空军领导负责任AI倡议。
加拿大
加拿大于2024年4月宣布将创建AI安全研究所，并于2024年11月正式成立。该研究所隶属于创新、科学和经济发展部，与加拿大高级研究所（CIFAR）合作，并由五年50,000,000加元的预算支持。
欧盟
欧盟AI办公室成立于2024年5月，是国际AI安全研究所网络的成员。它协调各成员国的AI安全工作，重点关注监管和标准。
法国
2025年1月31日，法国政府创建了国家AI评估与安全研究所（INESIA）。该研究所旨在评估AI系统，并为欧洲和国际安全标准做出贡献。
印度
电子和信息技术部于2024年10月7日与包括meta平台（Meta）、谷歌、微软、IBM、OpenAI、NASSCOM和印度理工学院（IITs）在内的各利益相关方举行了磋商，讨论建立AI安全研究所的事宜。决定将重点从监管转向标准制定、风险识别和损害检测。部长阿什维尼·瓦伊什瑙于2025年1月30日宣布创建IndiaAI安全研究所，以确保道德和安全的AI应用。该研究所将促进基于印度社会、经济、文化和语言多样性的国内研发，使用印度数据集。它采用“中心-辐射”模式，与学术和私营部门合作伙伴合作，包括IITs和联合国教科文组织等国际组织。
日本
日本AISI（J-AISI）于2024年2月成立，隶属于信息技术促进机构。它约有23名员工，由AISI理事会、AISI指导委员会和一个由六个团队组成的秘书处构成。村上明子，曾任IBM日本和Sompo Japan高管，担任执行董事，平本健二和西村俊为副执行董事。
肯尼亚
肯尼亚同意加入国际AI安全研究所网络，成为该网络中唯一的非洲国家，但尚未公布具体细节。
新加坡
数字信任中心最初成立于2022年6月，于2024年5月更名为新加坡AISI。它隶属于南洋理工大学，并与信息通信媒体发展局合作，每年获得10,000,000新加坡元的投资支持。
韩国
韩国于2024年5月宣布将在电子和电信研究所下创建AI安全研究所。该研究所于2024年11月成立，位于盆唐区，初步投资为每年10至20百万韩元，至少30名员工。
影响与遗产
英国AI安全研究所的成立为国家支持的AI安全评估树立了先例，影响了全球类似机构的创建。其在2025年演变为AI安全研究所，反映出范围扩大到包括安全以外的安全问题。该研究所的工作促进了国际标准的发展，但挑战依然存在，正如Politico在2024年4月所指出的，当时许多AI公司尚未分享其最先进模型的部署前访问权限以供评估。Meta全球事务总裁尼克·克莱格指出，公司正在等待共同的评估规则和程序，而英国和美国研究所致力于建立这些规则。国际网络继续在协调AI安全工作方面发挥关键作用，定期举行演习和会议，以应对Artificial intelligence治理中的新兴挑战。