캘리포니아 상원 법안 1047호(SB 1047)는 공식 명칭이 '최첨단 인공지능 모델을 위한 안전하고 안전한 혁신법'으로, 대규모 인공지능 시스템의 개발과 배포를 규제하기 위해 제안된 주 차원의 법안이었다. 2024년 2월 스콧 위너(Scott Wiener) 주 상원의원이 발의한 이 법안은 상당한 컴퓨팅 성능으로 훈련된 최첨단 AI 모델 개발자에게 안전 요구 사항을 부과하여 사이버 공격이나 생물학적 무기 제작과 같은 치명적 피해를 예방하는 것을 목표로 했다. 이 법안은 2024년 8월 캘리포니아 주의회를 통과했지만 2024년 9월 29일 개빈 뉴섬(Gavin Newsom) 주지사에 의해 거부권이 행사되어, 캘리포니아는 포괄적인 AI 안전 법안을 시도한 최초의 미국 주가 되었으나, 거부권으로 인해 규제 체계는 미해결 상태로 남게 되었다.
이 법안의 핵심 조항은 10^26회 이상의 부동소수점 연산(FLOPs)으로 훈련된 AI 모델 개발자를 대상으로 했으며, 당시 이 기준은 주요 연구소의 가장 고도화된 시스템만을 포함하는 수준이었다. 이 법안은 해당 개발자들에게 서면 안전 및 보안 프레임워크를 구현하고, 배포 전 테스트를 실시하며, 비상 시 모델을 완전히 종료할 수 있도록 보장할 것을 요구했다. 또한 이 법안은 기술부(Department of Technology) 내에 새로운 주 기관인 '최첨단 모델 부서(Frontier Model Division)'를 설립하여 규정 준수를 집행하고 위반 시 벌금을 부과하도록 했다. 특히 안전 우려를 신고한 직원을 보호하는 내부고발자 보호 조항을 포함했으며, 개발자들이 매년 주 법무장관에게 규정 준수를 인증하도록 의무화했다.
입법 과정과 주요 수정안
SB 1047은 캘리포니아 상원과 하원을 통과하는 과정에서 상당한 수정을 거쳤다. 2024년 2월 처음 발의된 이 법안은 4월에 수정되어 훈련 비용이 1억 달러를 초과하는 모델에 초점을 맞추도록 범위를 축소했다. 8월의 후속 수정안에서는 오픈소스 모델이 해당 기준을 충족하도록 미세 조정되거나 수정되지 않는 한 이 법안이 적용되지 않는다는 점을 명확히 했으며, 연구나 국가 안보 목적으로만 사용되는 모델은 면제했다. 또한 이 법안은 개발자들이 모델 작동을 완전히 중단할 수 있는 기능을 구현하도록 요구하는 '킬 스위치' 조항과 공개적으로 제공될 '안전 프레임워크'의 구축을 요구했다.
이 법안은 2024년 5월 21일 상원에서 32대 1로 통과되었고, 2024년 8월 28일 하원에서 45대 11로 통과되었다. 최종 버전은 2024년 8월 30일 상원에서 승인되어 뉴섬 주지사에게 송부되었다. 이 과정에서 이 법안은 찬성론자와 반대론자 모두의 치열한 로비를 불러일으켰으며, 기술 기업과 학계 기관들이 혁신에 미칠 잠재적 영향에 대해 의견을 개진했다.
찬성과 반대
요슈아 벤지오(Yoshua Bengio), 제프리 힌턴(Geoffrey Hinton), 스튜어트 러셀(Stuart Russell)과 같은 저명한 AI 연구자들을 포함한 SB 1047 지지자들은 이 법안이 고도화된 AI가 제기하는 잠재적 실존적 위험에 대한 필요한 예방 조치라고 주장했다. 그들은 자발적인 업계 약속만으로는 충분하지 않으며 안전을 보장하기 위해서는 정부 규제가 필수적이라고 주장했다. 이 법안은 또한 노동조합, 소비자 보호 단체, 일부 기술 기업 임원들의 지지를 받았으며, 이들은 AI 개발자에게 피해에 대한 책임을 묻는 방법으로 보았다.
반대론자들은 OpenAI, Anthropic, Google DeepMind와 같은 주요 AI 기업과 기술 무역 단체, 일부 학계 인사들을 포함하여 이 법안이 지나치게 광범위하여 혁신을 저해할 것이라고 주장했다. 그들은 FLOP 기준이 자의적이며 특히 소규모 스타트업에 과도한 규정 준수 비용을 부과할 것이라고 주장했다. 일부 비평가들은 또한 이 법안이 가상의 치명적 위험에 초점을 맞춘 나머지 편향성이나 잘못된 정보와 같은 보다 즉각적인 피해를 간과한다고 주장했다. 특히 Anthropic은 처음에 우려를 표명했지만 이후 보다 지지적인 입장을 취하며 부분적으로 반영된 수정안을 제안했다.
뉴섬 주지사의 거부권과 그 근거
2024년 9월 29일, 개빈 뉴섬 주지사는 SB 1047이 "지나치게 광범위한" 범위를 가지며 혁신을 "질식시킬" 잠재력이 있다는 우려를 이유로 거부권을 행사했다. 거부권 메시지에서 뉴섬은 AI 안전의 중요성을 인정하면서도 모델 크기와 컴퓨팅 기준에 초점을 맞춘 이 법안이 가장 효과적인 접근 방식이 아니라고 주장했다. 그는 이 법안이 개발자에게 "실행 불가능한" 요구 사항을 부과할 수 있으며 알고리즘 차별이나 일자리 대체와 같은 AI 위험의 전체 범위를 적절히 다루지 못한다고 지적했다. 뉴섬은 대신 증거 기반 정책을 개발하기 위한 지속적인 행정 명령과 전문가와의 협력을 언급하며 보다 균형 잡힌 규제 체계를 촉구했다.
거부권에 대한 반응은 엇갈렸다. 지지자들은 실망감을 표명했으며, 위너 상원의원은 향후 회기에서 계속 싸울 것을 다짐했다. 반대자들은 기술 업계 단체들이 이 결정이 AI 분야에서 캘리포니아의 리더십을 보호했다고 주장하며 이 결정을 환영했다. 이 거부권은 또한 미국 의회가 아직 포괄적인 AI 법안을 통과시키지 못한 상황에서 주 차원 규제와 연방 차원 규제의 역할에 대한 논쟁을 촉발했다.
영향과 여파
거부권 행사 이후 AI 규제 문제는 캘리포니아와 전국적으로 주요 화두로 남았다. 2024년 10월, 뉴섬 주지사는 딥페이크와 의료 분야의 AI 사용을 다루는 법안을 포함한 여러 다른 AI 관련 법안에 서명했지만, 보다 광범위한 안전 법안은 제정하지 않았다. 이 거부권은 또한 다른 주들의 논의에 영향을 미쳐, 일부 주 의원들이 유사한 법안을 고려하되 캘리포니아의 경험을 바탕으로 접근 방식을 조정했다.
SB 1047을 둘러싼 논쟁은 빠르게 진화하는 기술을 규제하는 데 따르는 어려움을 부각시켰다. 이 법안의 지지자들은 연방 차원의 조치를 기다리는 것은 대중을 보호하지 못한 채 방치하는 것이라고 주장한 반면, 반대자들은 성급한 규제가 유익한 발전을 저해할 수 있다고 주장했다. 이 법안의 유산에는 AI 안전 문제에 대한 인식을 높이고 기업들이 2023년 백악관 AI 안전 정상회의에서 이루어진 약속과 같은 자발적인 안전 약속을 채택하도록 촉구한 것이 포함된다.
AI 규제의 광범위한 맥락
SB 1047은 AI 규제를 향한 광범위한 글로벌 운동의 일부였다. 2024년에 최종 확정된 유럽연합의 AI 법은 위험 기반 접근 방식을 채택하여 AI 애플리케이션을 위험 수준별로 분류하고 그에 따라 의무를 부과했다. 대조적으로 SB 1047은 특히 최첨단 모델에 초점을 맞추었는데, 일부 전문가들은 이것이 더 표적화되었지만 더 자의적이기도 하다고 주장했다. 이 법안의 실패는 혁신과 안전의 균형을 맞추는 법안을 만드는 어려움을 강조했으며, 이는 전 세계 정책 입안자들을 계속 고민하게 하는 과제이다.
기술적 및 윤리적 고려 사항
이 법안이 FLOP 기준에 의존한 것은 AI 능력을 측정하는 방법에 대한 기술적 의문을 제기했다. 비평가들은 컴퓨팅 성능이 위험의 완벽한 대리 지표가 아니라고 지적했는데, 이는 더 작은 모델이 때로는 미세 조정을 통해 위험한 능력을 달성할 수 있기 때문이다. 이 법안은 또한 개발자가 모델의 하위 사용에 대한 책임, 투명성과 국가 안보 사이의 긴장과 같은 윤리적 문제를 다루었다. 이러한 고려 사항은 AI 거버넌스에 대한 지속적인 논쟁의 핵심으로 남아 있다.
향후 전망
2025년 초 현재 캘리포니아에서는 유사한 법안이 제정되지 않았지만, 위너 상원의원은 수정된 기준을 가지고 다음 회기에서 법안을 다시 발의할 것이라고 밝혔다. 한편 연방 정부는 2023년 10월 바이든 대통령의 행정 명령과 미국 AI 안전 연구소 설립을 포함하여 AI 안전을 해결하기 위한 조치를 취했다. 이러한 노력의 결과는 미국의 AI 규제의 미래를 형성할 가능성이 높으며, 캘리포니아의 경험은 관점에 따라 경고 사례 또는 청사진으로 작용할 것이다.