캘리포니아 SB 1047 논쟁은 2024년에 제안된 '최첨단 인공지능 모델의 안전하고 안전한 혁신을 위한 법안'을 둘러싼 중대한 입법 논란でした. 이 법안은 캘리포니아 주 상원에서 발의되어 대규모 인공지능 시스템 개발자에게 안전 요구 사항을 부과하는 것을 목표로 했습니다. 이는 치명적 위험을 강조하는 지지자와 혁신을 저해하고 주의 기술 경제를 해칠 것이라고 경고하는 반대자 사이에 격렬한 충돌을 촉발했습니다. 이 논쟁은 빠르게 발전하는 AI 기술을 어떻게 규제할지에 대한 전국적인 국민투표가 되었습니다.
이 법안은 일반적으로 10^26 부동 소수점 연산을 초과하는 상당한 컴퓨팅 성능으로 훈련된 AI 시스템인 '최첨단 모델'을 대상으로 했습니다. 개발자에게 안전 프로토콜 구현, 배포 전 테스트 실시, 준수 감독을 위한 새로운 주 기관 설립을 요구했을 것입니다. 결정적으로, 주 법무장관이 모델로 인한 심각한 피해에 대해 개발자를 고소할 수 있도록 허용하는 조항이 포함되어 있었으며, 이는 논쟁의 중심 쟁점이 되었습니다.
입법 배경 및 일정
스콧 위너 상원의원은 2024년 2월 SB 1047을 발의했습니다. 이 법안은 2024년 5월 캘리포니아 주 상원에서 32대 1로 통과되어 초기 초당적 지지를 반영했습니다. 이후 하원으로 이동하여 업계 비판에 대응하여 상당한 수정을 거쳤습니다. 수정된 버전은 적용 대상 모델의 정의를 좁히고, 10^26 미만의 연산을 가진 오픈소스 모델을 면제하며, 개발자에 대한 형사 책임을 제거했습니다. 이러한 변경에도 불구하고 법안은 논란의 여지가 있었습니다.
2024년 9월, 캘리포니아 주 하원은 41대 20으로 법안을 통과시켰고, 상원은 30대 8로 동의했습니다. 개빈 뉴섬 주지사는 2024년 9월 29일에 서명하여 캘리포니아를 포괄적인 AI 안전 법안을 제정한 미국 최초의 주로 만들었습니다. 그러나 법의 시행은 업계 단체의 소송으로 즉시 도전을 받았으며, 2025년 초 현재 그 미래는 불확실했습니다.
지지 논거
AI 연구자와 안전 옹호자를 포함한 지지자들은 Artificial intelligence의 급속한 발전이 실존적 위험을 제기한다고 주장했습니다. 그들은 Large language model이 사이버 공격, 생물 무기 개발 또는 자율적 유해 행동에 오용될 가능성을 지적했습니다. 그들은 정렬되지 않은 AI로 인한 치명적 결과의 의미 있는 확률이 있다고 믿는 AI 연구자 다수를 보여주는 설문 조사를 인용했습니다.
지지자들은 예방 원칙을 강조했습니다: 높은 위험을 고려할 때, 사회는 재앙이 발생하기 전에 행동해야 합니다. 그들은 실리콘 밸리의 본거지인 캘리포니아가 책임 있는 AI 거버넌스에서 선도할 책임이 있다고 언급했습니다. 안전 평가 및 사고 보고 요구 사항은 연방 규제를 향한 필요한 첫 단계로 여겨졌습니다.
주요 지지자로는 BAIR (Berkeley AI Research) 교수진, center-for-ai-safety, 그리고 Joshua Tenenbaum과 Melanie Mitchell 같은 인물이 포함되어 있으며, 그들은 투명성과 책임성이 필수적이라고 주장했습니다. 그들은 또한 당파를 초월한 AI 규제에 대한 광범위한 지지를 보여주는 여론 조사를 강조했습니다.
반대 논거
주요 기술 기업과 일부 학자를 포함한 반대자들은 이 법안이 시기상조이며 혁신을 해칠 것이라고 주장했습니다. 그들은 '최첨단 모델'의 정의가 자의적이며 아직 위험하지 않은 모델을 포함할 것이라고 주장했습니다. 그들은 소송 위협이 투자를 저해하고 AI 연구를 다른 주나 국가로 몰아낼 것이라고 경고했습니다.
OpenAI와 Anthropic - 둘 다 캘리포니아에 본사를 둔 - 같은 회사는 우려를 표명했지만 그들의 입장은 미묘했습니다. OpenAI는 규제 과잉을 이유로 처음에 법안에 반대했고, Anthropic은 수정 제안을 제공했습니다. Google DeepMind와 meta를 포함한 다른 기술 거대 기업들은 연방 규제가 더 적절하다고 주장하며 로비를 펼쳤습니다.
반대자들은 또한 법안의 요구 사항이 기술적으로 실행 불가능하다고 주장했습니다. 그들은 현재의 안전 테스트 방법이 불충분하며 법안의 명령이 안정적으로 구현될 수 없다고 주장했습니다. Aleksander Madry와 Ali Rahimi 같은 일부 학자들은 법안의 접근 방식이 실제로 안전을 개선할지 의문을 제기하며, 거짓된 안전감을 조성할 수 있다고 제안했습니다.
AI 연구소 및 업계의 역할
이 논쟁은 AI 업계 내의 분열을 부각시켰습니다. OpenAI와 Anthropic은 종종 안전 분야의 선두주자로 여겨졌지만 서로 다른 입장을 가졌습니다. Anthropic의 CEO Dario Amodei는 수정 후 법안에 찬성하여 증언했지만, OpenAI의 Sam Altman은 법안의 책임 조항이 너무 광범위하다고 주장하며 반대 입장을 유지했습니다.
소규모 AI 스타트업과 오픈소스 옹호자들은 특히 반대 목소리를 냈습니다. 그들은 준수 비용이 엄청나서 대규모 기존 기업에 유리할 것이라고 우려했습니다. Stanford AI Lab과 MIT CSAIL은 법안이 학술 연구와 오픈소스 개발을 저해할 수 있다는 성명을 발표했습니다.
흥미롭게도, 업계에 직접 관여하지 않은 일부 AI 연구자, 예를 들어 Anima Anandkumar와 Michael I. Jordan은 법안의 기술적 가정에 대해 우려를 표명했습니다. 그들은 컴퓨팅 임계값에 초점을 맞춘 것이 다른 위험 요소를 무시하며 법안이 가장 시급한 문제를 해결하지 못할 수 있다고 주장했습니다.
학계 및 전문가 관점
학계는 분열되었습니다. 100명 이상의 AI 연구자 그룹이 Samy Bengio, Aaron Courville, Brendan Lake를 포함하여 법안을 지지하는 공개 서한에 서명했습니다. 그들은 법안의 요구 사항이 온건하며 업계가 적응할 수 있다고 주장했습니다. 그들은 또한 법안이 절실히 필요한 규제 프레임워크를 만들 것이라고 언급했습니다.
반대로, Carlos Guestrin과 Chris Bishop 같은 연구자가 서명한 별도의 서한은 명확한 이점 없이 진전을 늦출 것이라고 주장하며 법안에 반대했습니다. 그들은 자발적 안전 약속과 연방 지침과 같은 대안적 접근 방식을 옹호했습니다.
Jacob Steinhardt와 David Kaplan 같은 일부 전문가는 규제의 필요성을 인정하면서도 특정 조항을 비판하며 중간 입장을 취했습니다. 그들은 법안의 책임 조항이 안전 연구를 위해 미세 조정될 수 있는 오픈소스 모델의 출시를 억제하는 것과 같은 의도치 않은 결과를 초래할 수 있다고 제안했습니다.
정치적 및 대중적 반응
이 논쟁은 전국 정치에서 쟁점이 되었습니다. 지지자들은 이를 기업 권력에 대한 필요한 견제로 규정했고, 반대자들은 정부 과잉 개입으로 낙인찍었습니다. 이 법안은 전국적인 관심을 끌었으며 대통령 후보들도 의견을 표명했습니다. 일부는 캘리포니아의 행동이 연방 정부에 압력을 가할 것이라고 주장했고, 다른 일부는 주 규제의 파편화를 우려했습니다.
여론은 일반적으로 지지적이었으며, 설문 조사에 따르면 캘리포니아 주민의 대다수가 AI 규제를 선호했습니다. 그러나 기술 업계의 로비 활동은 치열했으며, 법안 통과는 안전 옹호자에게는 승리로, 업계 이익에는 패배로 여겨졌습니다.
수정 및 타협
통과를 확보하기 위해 법안은 여러 수정을 거쳤습니다. 최종 버전에는 다음이 포함되었습니다:
- 컴퓨팅 임계값을 10^26에서 10^26으로 축소(변경 없음)하되 주가 조정할 수 있는 조항 포함.
- 연구 또는 국가 안보에만 사용되는 모델에 대한 면제.
- 비상 시 모델을 비활성화하는 '킬 스위치' 구현 요구 사항.
- 기술부 내 최첨단 AI 부서 설립.
- 대량 사상자 또는 핵심 인프라 실패와 같은 '심각한 피해' 사례로 책임 제한.
이러한 변경은 업계 우려를 해소하기 위해 설계되었지만 많은 반대자는 여전히 불만족했습니다.
여파 및 법적 도전
주지사 서명 후, chamber-of-progress를 포함한 여러 업계 단체가 헌법적 근거로 법에 도전하는 소송을 제기했습니다. 그들은 법이 언론을 규제함으로써 수정 헌법 제1조를 위반하고 연방법에 의해 선점된다고 주장했습니다. 2025년 초 현재, 법은 법원 판결을 기다리며 아직 발효되지 않았습니다.
이 논쟁은 연방 차원의 노력에도 영향을 미쳤습니다. 2025년, 미국 의회는 여러 AI 법안을 도입했지만 통과된 것은 없었습니다. 캘리포니아 법은 다른 주의 템플릿 역할을 했으며, 최소 12개 주가 유사한 법안을 고려하고 있습니다.
이 논란은 Machine learning 분야에서 혁신과 안전 사이의 증가하는 긴장을 부각시켰습니다. 또한 입법 과정보다 빠르게 진화하는 기술을 규제하는 어려움을 강조했습니다.
광범위한 영향
SB 1047 논쟁은 캘리포니아 너머에 중요한 영향을 미쳤습니다. 이는 사회에서 Generative AI의 역할, Deep learning의 한계, 국제적 조정의 필요성에 대한 논의를 촉발했습니다. 또한 Neural network 개발자의 책임성과 Transformer (architecture) 아키텍처가 유해한 방식으로 사용될 가능성에 대한 질문을 제기했습니다.
이 논쟁은 AI 기업 내 안전 관행 개발에도 영향을 미쳤습니다. OpenAI와 Anthropic을 포함한 많은 기업이 부분적으로 입법 압력에 대응하여 새로운 안전 프레임워크와 레드 팀 노력을 발표했습니다.
궁극적으로, 캘리포니아 SB 1047 논쟁은 AI 거버넌스의 분수령이 되는 순간을 대표했습니다. 이는 정부가 고급 AI 개발에 개입할 의향이 있음을 보여주었지만, 효과적인 방법에 대한 기술 커뮤니티 내의 깊은 분열도 드러냈습니다. 법적 도전의 결과와 법의 시행은 앞으로 수년간 AI 규제의 미래를 형성할 것입니다.