カリフォルニア州上院法案1047号、正式名称「フロンティア人工知能モデルのための安全かつセキュアなイノベーション法」は、大規模な人工知能システムの開発と展開を規制することを目的とした、提案された州法でした。2024年2月にスコット・ウィーナー州上院議員によって提出されたこの法案は、サイバー攻撃や生物兵器の作成などの壊滅的な害を防ぐために、フロンティアAIモデル（多大な計算能力で訓練されたもの）の開発者に安全性要件を課そうとするものでした。この法案は2024年8月にカリフォルニア州議会を通過しましたが、2024年9月29日にギャビン・ニューサム知事によって拒否権が発動され、カリフォルニア州は包括的なAI安全法制を試みた最初の米国の州となりましたが、拒否権により規制の状況は未解決のままとなりました。
この法案の中核となる条項は、当時、主要な研究所からの最先端システムのみを対象としていた、10^26浮動小数点演算（FLOP）を超える訓練に使用されたAIモデルの開発者を対象としていました。これにより、開発者は書面による安全・セキュリティ枠組みを実施し、展開前テストを実施し、緊急時にモデルを完全に停止できることを保証することが義務付けられました。また、この法案は、テクノロジー省の下に新しい州機関であるフロンティアモデル部門を設立し、コンプライアンスを執行し、違反に対する罰則を科すことを定めました。特筆すべきは、安全性の懸念を報告した従業員に対する内部通報者保護条項を含み、開発者は毎年、州司法長官にコンプライアンスを証明することが義務付けられました。
立法過程と主要な修正
SB 1047は、カリフォルニア州上院と下院を通過する間に大幅な修正を受けました。2024年2月に最初に提出されたこの法案は、4月に修正され、訓練コストが1億ドルを超えるモデルに焦点を当てて範囲を狭めました。8月のその後の修正では、この法案はオープンソースモデルには適用されないが、閾値を満たすように微調整または変更された場合を除き、研究または国家安全保障のみに使用されるモデルは除外されることが明確にされました。また、この法案には「キルスイッチ」要件が含まれており、開発者はモデル運用を完全に停止する機能を実装することが義務付けられ、一般に公開される「安全枠組み」の作成が義務付けられました。
この法案は、2024年5月21日に上院を32対1の投票で通過し、2024年8月28日に下院を45対11の投票で通過しました。最終版は2024年8月30日に上院で承認され、ニューサム知事に送付されました。この過程を通じて、この法案は賛成派と反対派の両方から激しいロビー活動を集め、テクノロジー企業や学術機関がイノベーションへの潜在的な影響について意見を述べました。
支持と反対
SB 1047の支持者には、ヨシュア・ベンジオ、ジェフリー・ヒントン、スチュアート・ラッセルなどの著名なAI研究者が含まれ、高度なAIによってもたらされる潜在的な実存的リスクに対する必要な予防策であると主張しました。彼らは、自主的な業界のコミットメントでは不十分であり、安全性を確保するためには政府の規制が不可欠であると主張しました。この法案はまた、労働組合、消費者擁護団体、および一部のテック幹部からも支持され、AI開発者に害に対して責任を負わせる方法と見なされました。
反対派には、OpenAI、Anthropic、Google DeepMindなどの主要なAI企業、およびテック業界団体や一部の学者が含まれ、この法案は過度に広範であり、イノベーションを阻害すると主張しました。彼らは、FLOP閾値は恣意的であり、この法案は特に小規模なスタートアップに負担の大きいコンプライアンスコストを課すと主張しました。一部の批評家はまた、この法案が仮説的な壊滅的リスクに焦点を当てていることが、バイアスや誤情報などのより差し迫った害から注意をそらすと主張しました。特筆すべきは、Anthropicは当初懸念を表明しましたが、後に支持的な姿勢を示し、部分的に組み込まれた修正案を提案しました。
ニューサム知事の拒否権とその根拠
2024年9月29日、ギャビン・ニューサム知事はSB 1047に拒否権を発動し、その「過度に広範な」範囲とイノベーションを「阻害する」可能性を懸念として挙げました。拒否権メッセージの中で、ニューサム氏はAIの安全性の重要性を認めましたが、モデルサイズと計算閾値に焦点を当てたこの法案は最も効果的なアプローチではないと主張しました。彼は、この法案が開発者に「実行不可能な」要件を課す可能性があり、アルゴリズムによる差別や雇用の喪失など、AIリスクの全範囲に適切に対処していないと指摘しました。ニューサム氏は代わりに、よりバランスの取れた規制枠組みを求め、進行中の行政命令や専門家との協力に言及して、証拠に基づく政策を開発するとしました。
拒否権は賛否両論の反応を呼びました。支持者は失望を表明し、ウィーナー上院議員は次の会期で戦いを続けると誓いました。反対派はこの決定を賞賛し、テック業界団体は拒否権がカリフォルニア州のAIにおけるリーダーシップを保護したと主張しました。拒否権はまた、米国議会がまだ包括的なAI法を可決していないため、州と連邦の規制の役割についての議論を引き起こしました。
影響と余波
拒否権の後、AI規制の問題はカリフォルニア州および全国的に顕著なトピックであり続けました。2024年10月、ニューサム知事はディープフェイクや医療におけるAIの使用に対処するものを含む他のいくつかのAI関連法案に署名しましたが、より広範な安全法制を制定することは拒否しました。拒否権はまた、他の州での議論にも影響を与え、一部の議員は同様の法案を検討しましたが、カリフォルニア州の経験に基づいてアプローチを調整しました。
SB 1047をめぐる議論は、急速に進化するテクノロジーを規制する課題を浮き彫りにしました。この法案の支持者は、連邦政府の行動を待つことは公衆を無防備にすると主張しましたが、反対派は時期尚早な規制が有益な発展を妨げる可能性があると主張しました。この法案の遺産には、AI安全性の問題への認識を高め、2023年のホワイトハウスAI安全サミットで行われたような自主的な安全コミットメントを企業が採用することを促したことが含まれます。
AI規制におけるより広い文脈
SB 1047は、AI規制に向けたより広範な世界的運動の一部でした。2024年に最終化された欧州連合のAI法は、リスクベースのアプローチを採用し、AIアプリケーションをリスクレベルに応じて分類し、それに応じて義務を課しました。対照的に、SB 1047はフロンティアモデルに特化しており、一部の専門家はより的を絞ったが、より恣意的でもあると主張する区別でした。この法案の失敗は、イノベーションと安全性のバランスを取る法律を作成する難しさを強調し、その課題は世界中の政策立案者を今も悩ませ続けています。
技術的および倫理的考察
この法案のFLOP閾値への依存は、AI能力を測定する方法について技術的な疑問を提起しました。批評家は、計算能力はリスクの完全な代理指標ではなく、より小さなモデルが危険な能力を達成するために微調整されることがあると指摘しました。この法案はまた、開発者がモデルの下流使用に対して責任を負うことや、透明性と国家安全保障の間の緊張など、倫理的問題にも触れました。これらの考察は、AIガバナンスに関する進行中の議論の中心に残っています。
将来の見通し
2025年初頭の時点で、カリフォルニア州では同様の法案は制定されていませんが、ウィーナー上院議員は次の会期で、おそらく改訂された基準で法案を再提出する意向を示しています。一方、連邦政府は、2023年10月のバイデン大統領による行政命令や米国AI安全研究所の設立など、AIの安全性に対処するための措置を講じています。これらの取り組みの結果は、米国におけるAI規制の将来を形成する可能性が高く、カリフォルニア州の経験は、見方によっては教訓または青写真として機能するでしょう。