カリフォルニアSB 1047論争は、2024年に提案された「フロンティア人工知能モデルのための安全かつ確実な革新法」をめぐる、極めて重要な立法論争であった。この法案はカリフォルニア州上院で提出され、大規模な人工知能システムの開発者に安全性要件を課すことを目的としていた。これは、破滅的リスクを強調する支持者と、革新の阻害や州のテクノロジー経済への悪影響を警告する反対派との間で激しい対立を引き起こした。この論争は、急速に進歩するAI技術をどう統治するかという全国的な国民投票となった。
この法律は「フロンティアモデル」、すなわち通常10^26回の浮動小数点演算を超える相当な計算能力で訓練されたAIシステムを対象としていた。これにより、開発者に安全プロトコルの実装、導入前テストの実施、およびコンプライアンスを監督する新しい州機関の設立が義務付けられることになっていた。決定的だったのは、州司法長官がモデルによって引き起こされた深刻な害について開発者を訴えることを認める条項であり、これが論争の中心的な争点となった。
立法の背景と経緯
スコット・ウィーナー上院議員は2024年2月にSB 1047を提出した。この法案は2024年5月にカリフォルニア州上院で32対1の投票で可決され、当初は超党派の支持を反映していた。その後、下院に移り、業界の批判に応えて大幅な修正が行われた。修正版では、対象となるモデルの定義が狭められ、10^26回未満の演算を行うオープンソースモデルが除外され、開発者への刑事責任が削除された。これらの変更にもかかわらず、この法案は物議を醸し続けた。
2024年9月、カリフォルニア州下院は41対20で法案を可決し、上院も30対8で同意した。ギャビン・ニューサム知事は2024年9月29日にこれに署名し、カリフォルニア州は包括的なAI安全法を制定した最初の米国の州となった。しかし、この法律の施行は直ちに業界団体からの訴訟によって異議申し立てが行われ、その将来は2025年初頭の時点でも不確実なままであった。
支持側の主張
AI研究者や安全推進派を含む支持者らは、Artificial intelligenceの急速な進歩が実存的リスクをもたらすと主張した。彼らは、Large language modelがサイバー攻撃、生物兵器開発、または自律的な有害行為に悪用される可能性を指摘した。また、大多数のAI研究者が、不整合なAIによる破滅的結果のかなりの確率があると信じていることを示す調査を引用した。
支持者らは予防原則を強調した。つまり、利害が大きいことを考慮すると、社会は災害が発生する前に対処すべきであると。彼らは、シリコンバレーの本拠地であるカリフォルニアには、責任あるAI統治を主導する責任があると指摘した。安全評価とインシデント報告の義務付けは、連邦規制への必要な第一歩と見なされた。
著名な支持者には、BAIR (Berkeley AI Research)の教員、center-for-ai-safety（リストにはないが、表示テキストとして使用）、およびJoshua TenenbaumやMelanie Mitchellのような人物が含まれ、透明性と説明責任が不可欠であると主張した。彼らはまた、党派を超えたAI規制への幅広い支持を示す世論調査を強調した。
反対側の主張
大手テクノロジー企業や一部の学者を含む反対派は、この法案は時期尚早であり、革新を損なうと主張した。彼らは「フロンティアモデル」の定義が恣意的であり、まだ危険ではないモデルを捕捉することになると主張した。訴訟の脅威が投資を阻害し、AI研究を他州や他国に追いやると警告した。
OpenAIやAnthropicのような企業（どちらもカリフォルニアに本社を置く）は懸念を表明したが、その立場は微妙なものであった。OpenAIは当初、規制の過剰介入を理由にこの法案に反対したが、Anthropicは修正案を提案した。Google DeepMindやmeta（リストにはない）を含む他のテック大手は、連邦規制の方が適切であると主張し、これに反対するロビー活動を行った。
反対派はまた、この法案の要件が技術的に実行不可能であると主張した。現在の安全テスト手法は不十分であり、法案の義務は確実に実施できないと論じた。Aleksander MadryやAli Rahimiのような一部の学者は、この法案のアプローチが実際に安全性を向上させるかどうか疑問視し、誤った安心感を生み出す可能性があると示唆した。
AI研究所と業界の役割
この論争は、AI業界内の分裂を浮き彫りにした。OpenAIとAnthropicはしばしば安全性のリーダーと見なされていたが、その立場は異なっていた。AnthropicのCEOであるDario Amodei（リストにはない）は修正後にこの法案を支持する証言をしたが、OpenAIのSam Altman（リストにはない）は、法案の責任条項が広範すぎると主張し、反対のままであった。
小規模なAIスタートアップやオープンソース支持者は特に反対を強く表明した。彼らは、コンプライアンスコストが法外になり、大手企業に有利になると懸念した。Stanford AI LabとMIT CSAILは、この法案が学術研究やオープンソース開発を妨げる可能性があると警告する声明を発表した。
興味深いことに、業界に直接関与していない一部のAI研究者、例えばAnima AnandkumarやMichael I. Jordanは、この法案の技術的仮定について懸念を表明した。彼らは、計算閾値に焦点を当てることは他のリスク要因を無視しており、法案が最も差し迫った問題に対処できない可能性があると主張した。
学界と専門家の見解
学界は分裂していた。100人を超えるAI研究者のグループが、Samy Bengio、Aaron Courville、Brendan Lakeを含むこの法案を支持する公開書簡に署名した。彼らは、法案の要件は控えめであり、業界は適応できると主張した。また、この法案が必要な規制枠組みを構築すると指摘した。
逆に、Carlos GuestrinやChris Bishopのような研究者が署名した別の書簡は、明確な利益なしに進歩を遅らせると主張し、この法案に反対した。彼らは、自主的な安全コミットメントや連邦ガイドラインなどの代替アプローチを提唱した。
Jacob SteinhardtやDavid Kaplanのような一部の専門家は、規制の必要性を認めつつも特定の条項を批判し、中間的な立場を取った。彼らは、法案の責任条項が、安全研究のために微調整できるオープンソースモデルのリリースを妨げるなど、意図しない結果をもたらす可能性があると示唆した。
政治的・世論の反応
この論争は国内政治の焦点となった。支持者はこれを企業権力への必要な歯止めと位置づけ、反対派は政府の過剰介入とレッテルを貼った。この法案は全国的な注目を集め、大統領候補者も発言した。カリフォルニアの行動が連邦政府に行動を促すと主張する者もいれば、州規制のモザイク状の出現を懸念する者もいた。
世論は概ね支持しており、世論調査ではカリフォルニア住民の大多数がAI規制を支持していることが示された。しかし、テクノロジー業界のロビー活動は激しく、法案の可決は安全推進派の勝利と見なされたが、業界の利益にとっては敗北と見なされた。
修正と妥協
可決を確実にするために、法案はいくつかの修正を受けた。最終版には以下が含まれていた：
- 計算閾値を10^26から10^26（変更なし）に引き下げるが、州がこれを調整する条項を追加。
- 研究または国家安全保障のみに使用されるモデルの除外。
- 緊急時にモデルを非アクティブ化する「キルスイッチ」の実装を開発者に要求。
- テクノロジー省内にフロンティアAI部門を設置。
- 責任を「重大な害」（大量死傷者や重要インフラの故障など）のケースに限定。
これらの変更は業界の懸念に対処するために設計されたが、多くの反対派は満足しなかった。
余波と法的課題
知事の署名後、chamber-of-progress（リストにはない）を含むいくつかの業界団体が、憲法上の根拠に基づいてこの法律に異議を申し立てる訴訟を提起した。彼らは、これが言論を規制することで修正第一条に違反し、連邦法によって先取りされると主張した。2025年初頭の時点で、この法律は裁判所の判決を待っており、まだ施行されていなかった。
この論争は連邦政府の取り組みにも影響を与えた。2025年、米国議会はいくつかのAI法案を提出したが、いずれも可決されなかった。カリフォルニア州の法律は他の州のモデルとなり、少なくとも12の州が同様の法律を検討している。
この論争は、Machine learningの分野における革新と安全性の間の緊張の高まりを浮き彫りにした。また、立法プロセスよりも速く進化するテクノロジーを規制することの難しさを浮き彫りにした。
より広い意味合い
SB 1047論争は、カリフォルニアを超えて重要な意味合いを持っていた。これは、社会におけるGenerative AIの役割、Deep learningの限界、国際的な協調の必要性についての議論を引き起こした。また、Neural network開発者の説明責任と、Transformer (architecture)アーキテクチャが有害な方法で使用される可能性についての疑問も提起した。
この論争はまた、AI企業内の安全慣行の発展にも影響を与えた。OpenAIやAnthropicを含む多くの企業は、立法圧力に部分的に対応して、新しい安全フレームワークとレッドチーミングの取り組みを発表した。
最終的に、カリフォルニアSB 1047論争は、AI統治における画期的な瞬間を表した。これは、政府が高度なAIの開発に介入する用意があることを示したが、効果的な方法について技術コミュニティ内の深い分裂も明らかにした。法的課題の結果と法律の施行は、今後数年間のAI規制の将来を形作るだろう。