AI治理指的是国家及国际层面的法律、法规、标准和机构，它们塑造了人工智能的开发与部署方式。该领域处于人工智能安全与人工智能伦理的交汇点，将关于人工智能的技术和社会关切，如算法偏见、幻觉以及长期存在风险，转化为具有约束力的规则、自愿承诺和监督机构。治理方法因司法管辖区而异，从全面的、基于风险的监管，到依赖行业自我治理的轻触式框架不等。
主要监管框架
截至2020年代中期，最全面的具有约束力的法律是欧盟人工智能法案，由欧盟于2024年通过，该法案将人工智能应用分为风险等级，从社会评分等禁止用途，到生物识别和招聘工具等受到严格监管的“高风险”类别，并对通用系统（如大语言模型聊天机器人）施加较轻的透明度义务。在美国，治理更多通过行政行动和特定行业规则推进，而非单一综合法规；拜登总统2023年10月关于人工智能的行政命令指示联邦机构制定安全测试和报告要求，而随后的政府则转向强调美国竞争力的放松监管立场。中国已发布针对生成式人工智能服务的具有约束力的规则，要求对面向公众的系统进行安全评估和内容标注。其他司法管辖区，包括英国、日本和加拿大，通常倾向于基于指导或特定行业的方法，而非全面立法。
国际协调
各国政府也在具有约束力的法律之外寻求自愿的国际协调。布莱切利宣言由28个国家在英国2023年11月的人工智能安全峰会上签署，标志着首个承认人工智能可能带来严重甚至灾难性风险的主要多边声明，并启动了在韩国和法国举行的后续峰会系列。与此同时，多个国家建立了专门的人工智能安全机构，包括英国人工智能安全研究所和美国国家标准与技术研究院内的美国人工智能安全研究所，其任务是在前沿模型发布前或发布后不久进行独立测试。经济合作与发展组织和联合国也发布了非约束性的人工智能原则，许多政府在起草国内政策时会参考这些原则。
行业承诺
在政府监管之外，前沿人工智能开发者，包括OpenAI、Anthropic和Google DeepMind，发布了各自的自愿治理框架，通常称为负责任扩展政策或准备框架，承诺公司在模型跨越特定能力阈值时进行特定的安全评估和缓解措施；这些在Anthropic原则一文中有进一步讨论。公司还提交模型供外部红队测试以及政府安全机构在重大发布前进行评估，这一做法在布莱切利峰会之后逐渐流行。
争论
人工智能治理在多个方面仍存在争议。一些研究人员和政策制定者认为，监管应聚焦于具体的、当前存在的危害，如偏见和错误信息，而非推测性的未来风险；另一些人则持相反观点，认为鉴于能力提升的速度，监管注意力应更重视低概率但灾难性的情景，这一分歧呼应了关于如何解读扩展定律和涌现能力的更广泛争议。另一场辩论涉及监管应针对通用基础模型本身，还是仅针对特定的下游应用，欧盟人工智能法案部分调和了这一问题，对通用系统施加较轻的透明度义务，对高风险用途施加更重的义务。行业游说、对监管俘获的担忧以及与监管较宽松司法管辖区的竞争，进一步使达成持久国际协议的难度加大。