加利福尼亚州参议院第1047号法案，即《前沿人工智能模型安全创新法案》，是一项拟议的州法律，旨在为大规模人工智能模型的开发者确立具有约束力的安全义务。该法案由参议员斯科特·维纳于2024年2月提出，旨在减轻先进人工智能系统带来的灾难性风险，包括潜在的网络安全攻击、生物武器制造和大规模伤亡。该法案于2024年5月通过加州州参议院，并于2024年8月通过州众议院，但于2024年9月29日被州长加文·纽森否决，使其成为美国最具争议的人工智能监管努力之一。
该立法针对“涵盖模型”，即训练计算能力超过10^26次浮点运算（FLOPs）的人工智能系统，这一阈值旨在涵盖像OpenAI、Anthropic和Google DeepMind开发的前沿模型。开发者必须实施一个安全框架，包括风险评估、事件报告以及必要时停止模型运行的紧急停止开关。该法案还对开发者因其模型造成的严重伤害施加责任，虚假陈述的处罚最高可达1000万美元，实际伤害的罚款最高可达5000万美元。豁免适用于仅用于研究的模型、经过修改的开源模型以及低于计算阈值的模型，尽管该法案包含一项条款，允许加州技术部随着计算能力的增长调整阈值。
背景与立法背景
该法案是在对Generative AI和Large language model系统快速发展的担忧日益加剧的背景下提出的，这些系统已展示出在编码、推理和内容生成方面的能力。支持者认为，人工智能实验室的自愿承诺是不够的，并引用了人工智能被滥用于虚假信息以及未来系统可能逃避人类控制的事件。作为许多领先人工智能公司的所在地，加州被视为开创性监管的自然场所，因为其在车辆排放和数据隐私等领域设定国家标准的先例。
参议员维纳于2024年2月7日提出了SB 1047，由未来生命研究所共同发起，并得到包括Yoshua Bengio和Geoffrey Hinton在内的知名人工智能研究人员的支持。该法案在委员会听证会期间经历了多次修订，以回应关于范围过广和意外后果的批评。值得注意的是，“涵盖模型”的定义被细化，排除了未部署或未向公众提供的模型，责任条款也被缩小，仅适用于开发者已知或应当知道风险的情况。
主要条款和要求
根据SB 1047，涵盖模型的开发者必须在开始训练前向加州技术部提交“安全与安保框架”。该框架必须详细说明模型的预期用途、潜在风险和缓解措施。具体要求包括：
- 风险评估：开发者必须进行训练前风险评估，评估模型可能促成网络攻击、化学或生物武器或其他灾难性伤害的潜力。评估必须在训练后和公开发布前更新。
- 事件报告：任何“严重伤害事件”，即导致死亡、大规模伤亡或重大财产损失的事件，必须在72小时内向州总检察长报告。报告必须包括技术细节和开发者的应对措施。
- 紧急停止开关：框架必须包括“快速全面关闭”能力，允许开发者在模型构成迫在眉睫的威胁时立即停止其运行。
- 第三方审计：开发者必须聘请独立审计师验证对框架的合规性，审计报告每年提交给州政府。
- 举报人保护：举报安全违规的员工受到报复保护，鼓励内部透明度。
该法案还禁止开发者对提出安全担忧的员工进行报复，并要求所有涵盖模型的开发方式必须尽量减少“模型盗窃”风险，即未经授权访问模型权重。
责任与执行
SB 1047为人工智能开发者建立了一种新颖的责任制度。如果涵盖模型造成严重伤害，即死亡、大规模伤亡或超过5亿美元的财产损失，开发者即使未故意造成伤害也可能被追究责任。这种“严格责任”方法类似于缺陷产品的产品责任法，但它适用于软件，而软件传统上不受此类标准约束。
执行将由加州总检察长负责，其可寻求民事处罚和禁令救济。该法案还在技术部内设立“前沿人工智能部门”，负责监督合规性并维护涵盖模型的公共登记册。安全框架中虚假陈述的处罚每次违规最高可达1000万美元，而实际伤害可能导致最高5000万美元的罚款。然而，该法案明确表示不创设私人诉权，这意味着个人不能根据此法直接起诉开发者。
支持与反对
该法案引发了截然不同的反应。支持者，包括人工智能安全中心和未来生命研究所，认为它为具有存在风险的技术提供了必要的护栏。他们指出，调查显示大多数人工智能研究人员认为先进人工智能导致灾难性后果的可能性很大。支持者还指出，该法案的计算阈值确保其仅影响最大的实验室，从而保护初创企业和学术机构。
反对者来自两个主要阵营。行业团体，包括商会和几家人工智能公司，认为该法案将扼杀创新并推动人工智能开发离开加州。他们声称，严格责任标准将阻碍开源开发，因为即使是修改过的模型也可能追溯到原始开发者。一些技术专家，如Fei-Fei Li和Andrew Ng，签署了反对该法案的公开信，认为其基于推测性恐惧而非当前能力。
第二组批评者，包括一些人工智能安全研究人员，认为该法案过于薄弱。他们指出，计算阈值可以通过分布式训练或使用更高效的算法来规避，责任条款仅适用于“合理可预见”的伤害，这可能难以证明。一些人还批评该法案未解决较小的模型，这些模型与其他工具结合时仍可能具有危险性。
修订与妥协
在立法过程中，SB 1047经过修订以解决一些担忧。原始版本要求开发者证明其模型不能被用于制造大规模杀伤性武器，批评者称这不可能保证。这被改为“合理保证”标准。该法案还增加了对仅用于军事或国家安全目的的模型的豁免，并澄清了训练计算量低于10^26 FLOPs的开源模型不在涵盖范围内。
另一项重要修订是删除了创建新州机构来监管人工智能的条款。相反，该法案依赖现有部门，由技术部牵头。这被视为对担心官僚过度扩张的反对者的让步。
州长否决与后续
州长纽森于2024年9月29日否决了SB 1047，此举令许多观察者感到惊讶。在否决声明中，纽森认为该法案“用意良好”但范围过广，且将在没有充分联邦协调的情况下对人工智能开发者施加“僵化、昂贵且可能致命”的要求。他呼吁采取更“灵活”的方法，建议加州应与联邦政府和其他州合作制定统一的监管框架。
否决受到行业团体和一些学者的欢迎，但令安全倡导者失望。参议员维纳誓言在下一届立法会议上重新提出该法案，可能附带修订。与此同时，加州继续推进其他人工智能法规，包括一项要求人工智能生成内容透明化的法律，以及一个研究人工智能对就业影响的工作组。
更广泛的影响
SB 1047的轨迹反映了美国关于人工智能监管的更广泛辩论。虽然欧盟在2024年通过了《人工智能法案》，但美国主要依赖公司的自愿承诺。该法案的失败凸显了监管快速发展的技术的难度，其中定义可能在数月内过时。然而，其提出已经影响了企业行为，几家主要人工智能实验室宣布了模仿SB 1047要求的自愿安全框架。
该法案还引发了关于州政府在监管技术中的作用的质疑。支持者认为加州有责任保护其公民，而反对者警告称，各州法律的拼凑将给公司带来负担。辩论可能会继续，特别是随着人工智能能力的增长和潜在伤害变得更加具体。截至2025年初，没有其他州通过类似法案，但该问题仍是立法者的优先事项。
技术与伦理考量
该法案的计算阈值10^26 FLOPs值得注意，因为它与GPT-4等模型的训练成本估计一致，据信GPT-4使用了约2.1e25 FLOPs。这意味着只有少数模型会被涵盖，包括由OpenAI、Anthropic和Google DeepMind开发的模型。然而，该阈值并非静态；法案包含一项条款，允许技术部根据计算能力趋势进行调整，确保其随着硬件改进而保持相关性。
在伦理上，该法案引发了对人工智能行为责任的质疑。与传统软件不同，传统软件中开发者通常不对用户滥用负责，SB 1047将要求开发者对可预见的伤害负责。这种转变反映了日益增长的共识，即人工智能系统不是中性工具，而是具有能动性，其创造者负有注意义务。批评者认为，这可能导致过度谨慎的开发，减缓医疗诊断或气候建模等有益应用的进展。
该法案还涉及Model Pruning和Data Augmentation的问题，因为开发者可能试图减少模型的计算足迹以规避监管。然而，法案对“涵盖模型”的定义包括任何涵盖模型的衍生模型，使其难以规避。这一“衍生”条款是一个关键争议点，开源倡导者认为它将抑制OpenPanel社区的创新。
结论
加州SB 1047代表了监管前沿人工智能的里程碑式尝试，结合了产品安全、环境法和技术政策的元素。尽管被否决，该法案为未来立法努力树立了先例，无论是在加州还是其他地方。其核心思想，即计算阈值、安全框架和灾难性伤害责任，很可能以某种形式重新出现，无论是在州级还是联邦层面。关于SB 1047的辩论也激发了公众对人工智能安全的讨论，将Reinforcement Learning from AI Feedback (RLAIF)和Gradient Clipping等问题带入主流对话。随着人工智能的持续发展，如何治理它仍将是21世纪最紧迫的挑战之一。
参考文献
- 加州州参议院。(2024)。SB 1047：前沿人工智能模型安全创新法案。立法顾问摘要。
- 维纳，S. (2024)。关于SB 1047提出的新闻稿。
- 纽森，G. (2024)。SB 1047否决声明。
- 未来生命研究所。(2024)。SB 1047分析。
- 人工智能安全中心。(2024)。关于SB 1047的声明。