カリフォルニア州上院法案1047号、通称「フロンティア人工知能モデルのための安全かつ確実な革新法」は、大規模な人工知能モデルの開発者に拘束力のある安全義務を課すことを目的とした州法の提案である。2024年2月にスコット・ウィーナー上院議員によって提出されたこの法案は、高度なAIシステムによって引き起こされる壊滅的なリスク（潜在的なサイバー攻撃、生物兵器の作成、大量死傷者など）を軽減することを目指している。2024年5月にカリフォルニア州上院を、2024年8月に下院を通過したが、2024年9月29日にギャビン・ニューサム知事によって拒否権が発動され、米国で最も議論されたAI規制の取り組みの一つとなった。
この法律は「対象モデル」、すなわち10^26浮動小数点演算（FLOPs）を超える計算能力で訓練されたAIシステムを対象としており、この閾値はOpenAI、Anthropic、Google DeepMindによって開発されたようなフロンティアモデルを捕捉するように設計されている。開発者は、リスク評価、インシデント報告、および必要に応じてモデルの動作を停止するための緊急停止スイッチを含む安全フレームワークを実装しなければならない。この法案はまた、モデルによって引き起こされた重大な害に対する開発者の責任を課し、虚偽の陳述に対して最大1,000万ドル、実際の害に対して最大5,000万ドルの罰金を科す。研究専用のモデル、修正されたオープンソースモデル、計算閾値未満のモデルには免除が適用されるが、法案には計算能力の成長に応じて閾値を調整するカリフォルニア州技術局の条項が含まれている。
背景と立法の文脈
この法案は、Generative AIおよびLarge language modelシステムの急速な進歩に対する懸念が高まる中で浮上した。これらのシステムは、コーディング、推論、コンテンツ生成において能力を実証している。支持者は、AI研究所からの自発的なコミットメントは不十分であり、AIの偽情報への悪用や、将来のシステムが人間の制御を回避する可能性などの事例を挙げた。カリフォルニア州は、多くの主要なAI企業の本拠地であり、自動車排出ガスやデータプライバシーなどの分野で国家基準を設定してきた歴史があるため、先駆的な規制の自然な場所と見なされていた。
ウィーナー上院議員は2024年2月7日にSB 1047を提出し、未来生命研究所が共同提案し、Yoshua BengioやGeoffrey Hintonを含む著名なAI研究者が支持した。この法案は委員会審議中に複数の修正が加えられ、過度な広がりや意図しない結果に関する批判に対処した。特に、「対象モデル」の定義は、展開されていないか一般に公開されていないモデルを除外するように洗練され、責任条項は、開発者がリスクを知っていたか、知るべきであった場合にのみ適用されるように狭められた。
主要な条項と要件
SB 1047の下では、対象モデルの開発者は、訓練を開始する前に「安全およびセキュリティフレームワーク」をカリフォルニア州技術局に提出しなければならない。このフレームワークは、モデルの意図された用途、潜在的なリスク、および緩和策を詳細に説明しなければならない。具体的な要件は次のとおりである。
- リスク評価: 開発者は訓練前のリスク評価を実施し、モデルがサイバー攻撃、化学兵器または生物兵器、その他の壊滅的な害を可能にする可能性を評価しなければならない。評価は訓練後および公開前に更新されなければならない。
- インシデント報告: 「重大な害インシデント」（死亡、大量死傷者、または重大な物的損害を引き起こす事象と定義される）は、72時間以内に州司法長官に報告されなければならない。報告には技術的な詳細と開発者の対応が含まれなければならない。
- 緊急停止スイッチ: フレームワークには「迅速かつ完全なシャットダウン」機能が含まれ、モデルが差し迫った脅威をもたらす場合に開発者が即座にモデルの動作を停止できるようにしなければならない。
- 第三者監査: 開発者は独立した監査人を雇ってフレームワークへの準拠を検証し、監査報告書を毎年州に提出しなければならない。
- 内部告発者保護: 安全違反を報告する従業員は報復から保護され、内部の透明性が促進される。
この法案はまた、開発者が安全上の懸念を提起した従業員に報復することを禁止し、すべての対象モデルが「モデル盗難」（モデルの重みへの不正アクセス）のリスクを最小限に抑える方法で開発されることを要求している。
責任と執行
SB 1047は、AI開発者に対する新しい責任体制を確立している。対象モデルが重大な害（死亡、大量死傷者、または5億ドルを超える物的損害と定義される）を引き起こした場合、開発者は意図的に害を引き起こしていなくても責任を負うことができる。この「厳格責任」アプローチは、欠陥のある商品に対する製造物責任法に似ているが、伝統的にそのような基準から免除されてきたソフトウェアに適用される。
執行はカリフォルニア州司法長官が担当し、民事罰と差止命令を求めることができる。この法案はまた、技術局内に「フロンティアAI部門」を創設し、コンプライアンスの監督と対象モデルの公開登録簿の維持を担当する。安全フレームワークにおける虚偽の陳述に対する罰金は違反ごとに最大1,000万ドルであり、実際の害は最大5,000万ドルの罰金につながる可能性がある。ただし、この法案は私人の訴権を創設しないことを明示しており、個人がこの法律に基づいて開発者を直接訴えることはできない。
支持と反対
この法案は二極化した反応を引き起こした。AI安全センターや未来生命研究所を含む支持者は、存在リスクを持つ技術に不可欠な保護策を提供すると主張した。彼らは、大多数のAI研究者が高度なAIからの壊滅的な結果の可能性が有意であると信じていることを示す調査を指摘した。支持者はまた、この法案の計算閾値が最大の研究所にのみ影響し、スタートアップや学術機関を保護することを指摘した。
反対派は主に2つの陣営から来た。商工会議所やいくつかのAI企業を含む業界団体は、この法案が革新を阻害し、AI開発をカリフォルニアから追い出すと主張した。彼らは、厳格責任基準がオープンソース開発を阻害し、修正されたモデルでも元の開発者に遡って追跡される可能性があると主張した。Fei-Fei LiやAndrew Ngなどの一部の技術者は、この法案が現在の能力ではなく投機的な恐怖に基づいていると主張して、反対の公開書簡に署名した。
第二の批評家グループ（一部のAI安全研究者を含む）は、この法案が弱すぎると主張した。彼らは、計算閾値が分散訓練やより効率的なアルゴリズムの使用によって回避される可能性があり、責任条項が「合理的に予見可能な」害にのみ適用されるため、証明が難しい可能性があると指摘した。一部はまた、他のツールと組み合わせると危険な可能性がある小さなモデルに対処していないと批判した。
修正と妥協
立法プロセス中に、SB 1047はいくつかの懸念に対処するために修正された。元のバージョンでは、開発者はモデルが大量破壊兵器の作成に使用できないことを認証することを要求していたが、批評家はこれを保証することは不可能と呼んだ。これは「合理的な保証」基準に変更された。この法案はまた、軍事または国家安全保障目的にのみ使用されるモデルの免除を追加し、10^26 FLOPs未満の訓練計算を持つオープンソースモデルが対象外であることを明確にした。
もう一つの重要な修正は、AIを規制する新しい州機関を創設する条項の削除であった。代わりに、この法案は既存の部門に依存し、技術局が主導的な役割を果たす。これは、官僚的な過剰介入を恐れる反対派への譲歩と見なされた。
知事の拒否権とその後
ニューサム知事は2024年9月29日にSB 1047に拒否権を発動し、多くの観察者を驚かせた。拒否権メッセージの中で、ニューサム氏はこの法案が「意図は良い」が過度に広範であり、適切な連邦政府の調整なしにAI開発者に「硬直的で、費用がかかり、潜在的に致命的な」要件を課すと主張した。彼はより「柔軟な」アプローチを求め、カリフォルニア州が連邦政府や他の州と協力して統一された規制フレームワークを開発すべきだと示唆した。
拒否権は業界団体や一部の学者によって祝われたが、安全擁護者を失望させた。ウィーナー上院議員は、次の立法会期で修正を加えて法案を再提出すると誓った。その間、カリフォルニア州はAI生成コンテンツの透明性を要求する法律や、AIの雇用への影響を研究するタスクフォースなど、他のAI規制を追求し続けている。
より広い含意
SB 1047の軌跡は、米国におけるAI規制をめぐるより広い議論を反映している。欧州連合が2024年にAI法を可決した一方で、米国は主に企業からの自発的なコミットメントに依存してきた。この法案の失敗は、定義が数ヶ月で時代遅れになる可能性がある急速に進化する技術を規制することの難しさを浮き彫りにしている。しかし、その導入はすでに企業の行動に影響を与えており、いくつかの主要なAI研究所がSB 1047の要件を反映した自発的な安全フレームワークを発表している。
この法案はまた、技術規制における州政府の役割についての疑問を提起した。支持者はカリフォルニア州が市民を保護する責任があると主張し、反対派は企業に負担をかける州法のモザイクを警告した。この議論は、AIの能力が成長し、害の可能性がより具体的になるにつれて、続く可能性が高い。2025年初頭の時点で、他の州で同様の法案は可決されていないが、この問題は議員にとって優先事項のままである。
技術的および倫理的考察
この法案の10^26 FLOPsの計算閾値は、GPT-4のようなモデルの訓練コストの推定値（約2.1e25 FLOPsを使用したと考えられている）と一致しているため注目に値する。これは、OpenAI、Anthropic、およびGoogle DeepMindによって開発されたものを含む、ほんの一握りのモデルだけが対象になることを意味する。ただし、閾値は静的ではなく、法案には技術局がハードウェアの改善に応じて関連性を維持できるように、計算能力の傾向に基づいて閾値を調整する条項が含まれている。
倫理的には、この法案はAIの行動に対する責任についての疑問を提起する。開発者が一般的にユーザーの誤用に対して責任を負わない従来のソフトウェアとは異なり、SB 1047は開発者に予見可能な害に対する説明責任を課すことになる。この変化は、AIシステムが中立なツールではなく主体性を持ち、その作成者には注意義務があるという成長するコンセンサスを反映している。批評家は、これが過度に慎重な開発につながり、医療診断や気候モデリングなどの有益なアプリケーションの進歩を遅らせる可能性があると主張する。
この法案はまた、Model PruningやData Augmentationの問題にも触れており、開発者は規制を回避するためにモデルの計算フットプリントを削減しようとするかもしれない。ただし、法案の「対象モデル」の定義には、対象モデルの派生である任意のモデルが含まれており、回避を困難にしている。この「派生」条項は主要な論点であり、オープンソース擁護者はOpenPanelコミュニティの革新を冷え込ませると主張した。
結論
カリフォルニア州SB 1047は、製品安全、環境法、技術政策の要素を組み合わせた、フロンティアAIを規制する画期的な試みを表している。拒否権が発動されたものの、この法案はカリフォルニア州内外での将来の立法努力の先例を設定した。その中核的なアイデア（計算閾値、安全フレームワーク、壊滅的な害に対する責任）は、州レベルまたは連邦レベルのいずれかで、何らかの形で再登場する可能性が高い。SB 1047をめぐる議論はまた、Reinforcement Learning from AI Feedback (RLAIF)やGradient Clippingなどの問題を主流の会話に持ち込み、AI安全に関する公共の議論を活性化させた。AIが進歩し続けるにつれて、それをどのように統治するかという問題は、21世紀の最も差し迫った課題の一つであり続けるだろう。
参考文献
- カリフォルニア州上院。(2024)。SB 1047: フロンティア人工知能モデルのための安全かつ確実な革新法。立法顧問のダイジェスト。
- ウィーナー、S。(2024)。SB 1047導入に関するプレスリリース。
- ニューサム、G。(2024)。SB 1047に対する拒否権メッセージ。
- 未来生命研究所。(2024)。SB 1047の分析。
- AI安全センター。(2024)。SB 1047に関する声明。