캘리포니아 상원 법안 1047호(SB 1047)는 '최첨단 인공지능 모델을 위한 안전하고 안전한 혁신 법안(Safe and Secure Innovation for Frontier Artificial Intelligence Models Act)'으로 알려져 있으며, 대규모 인공지능 모델 개발자에게 구속력 있는 안전 의무를 부과하는 제안된 주법이다. 2024년 2월 스콧 위너(Scott Wiener) 상원의원이 발의한 이 법안은 고급 AI 시스템이 초래할 수 있는 재앙적 위험(사이버 공격, 생물무기 제작, 대규모 사상자 등)을 완화하는 것을 목표로 한다. 이 법안은 2024년 5월 캘리포니아 주 상원을 통과하고 2024년 8월 하원을 통과했지만, 2024년 9월 29일 개빈 뉴섬(Gavin Newsom) 주지사가 거부권을 행사하여 미국에서 가장 논쟁이 된 AI 규제 노력 중 하나가 되었다.
이 법안은 10^26 부동 소수점 연산(FLOPs)을 초과하는 컴퓨팅 성능으로 훈련된 AI 시스템인 '대상 모델(covered models)'을 겨냥한다. 이 기준은 OpenAI, Anthropic, Google DeepMind이 개발한 모델과 같은 최첨단 모델을 포착하도록 설계되었다. 개발자는 위험 평가, 사고 보고, 필요 시 모델 작동을 중단할 수 있는 킬 스위치를 포함하는 안전 프레임워크를 구현해야 한다. 이 법안은 또한 개발자가 모델로 인한 심각한 피해에 대해 책임을 지도록 하며, 허위 진술에 대해 최대 1,000만 달러, 실제 피해에 대해 최대 5,000만 달러의 벌금을 부과한다. 연구 전용 모델, 수정된 오픈소스 모델, 컴퓨팅 기준 미만의 모델은 면제되지만, 법안에는 컴퓨팅 성능이 성장함에 따라 캘리포니아 기술부가 기준을 조정할 수 있는 조항이 포함되어 있다.
배경 및 입법 맥락
이 법안은 Generative AI 및 Large language model 시스템의 급속한 발전에 대한 우려가 커지는 가운데 등장했다. 이러한 시스템은 코딩, 추론, 콘텐츠 생성 능력을 입증했다. 지지자들은 AI 연구소의 자발적 약속이 불충분하다고 주장했으며, AI의 허위 정보 악용 사례와 미래 시스템이 인간 통제를 회피할 가능성을 언급했다. 많은 주요 AI 기업의 본거지인 캘리포니아는 차량 배출가스 및 데이터 프라이버시 분야에서 국가 표준을 설정한 역사를 고려할 때 선도적 규제의 자연스러운 장소로 여겨졌다.
위너 상원의원은 2024년 2월 7일 SB 1047을 발의했으며, 미래 생명 연구소(Future of Life Institute)가 공동 후원하고 Yoshua Bengio 및 Geoffrey Hinton을 포함한 저명한 AI 연구자들이 지지했다. 이 법안은 위원회 청문회에서 과도한 범위와 의도하지 않은 결과에 대한 비판을 다루기 위해 여러 차례 수정되었다. 특히 '대상 모델'의 정의는 배포되거나 공개되지 않은 모델을 제외하도록 정제되었고, 책임 조항은 개발자가 위험을 알았거나 알았어야 했을 때만 적용되도록 축소되었다.
주요 조항 및 요구 사항
SB 1047에 따라 대상 모델 개발자는 훈련을 시작하기 전에 캘리포니아 기술부에 '안전 및 보안 프레임워크(Safety and Security Framework)'를 제출해야 한다. 이 프레임워크는 모델의 의도된 용도, 잠재적 위험, 완화 조치를 상세히 설명해야 한다. 구체적인 요구 사항은 다음과 같다:
- 위험 평가: 개발자는 훈련 전 위험 평가를 수행하여 모델이 사이버 공격, 화학·생물학 무기 또는 기타 재앙적 피해를 가능하게 할 잠재력을 평가해야 한다. 평가는 훈련 후 및 공개 전에 업데이트되어야 한다.
- 사고 보고: '중대한 피해 사고' - 사망, 대규모 사상자 또는 상당한 재산 피해를 초래하는 사건으로 정의됨 - 는 72시간 이내에 주 법무장관에게 보고되어야 한다. 보고서에는 기술적 세부 사항과 개발자의 대응이 포함되어야 한다.
- 킬 스위치: 프레임워크에는 '신속하고 완전한 종료' 기능이 포함되어야 하며, 모델이 임박한 위협을 제기할 경우 개발자가 즉시 작동을 중단할 수 있어야 한다.
- 제3자 감사: 개발자는 프레임워크 준수를 검증하기 위해 독립 감사인을 고용해야 하며, 감사 보고서는 매년 주에 제출되어야 한다.
- 내부고발자 보호: 안전 위반을 보고하는 직원은 보복으로부터 보호되어 내부 투명성을 장려한다.
이 법안은 또한 개발자가 안전 우려를 제기하는 직원에게 보복하는 것을 금지하며, 모든 대상 모델이 '모델 도난' - 모델 가중치에 대한 무단 접근 - 의 위험을 최소화하는 방식으로 개발되어야 한다고 요구한다.
책임 및 집행
SB 1047은 AI 개발자에 대한 새로운 책임 체계를 확립한다. 대상 모델이 심각한 피해 - 사망, 대규모 사상자 또는 5억 달러를 초과하는 재산 피해로 정의됨 - 를 초래하는 경우, 개발자는 의도적으로 피해를 초래하지 않았더라도 책임을 질 수 있다. 이러한 '무과실 책임(strict liability)' 접근 방식은 불량 제품에 대한 제조물 책임법과 유사하지만, 전통적으로 그러한 기준에서 면제되어 온 소프트웨어에 적용된다.
집행은 캘리포니아 법무장관이 담당하며, 민사 벌금 및 금지 명령을 구할 수 있다. 이 법안은 또한 기술부 내에 '최첨단 AI 부서(Frontier AI Division)'를 창설하여 규정 준수를 감독하고 대상 모델의 공개 등록부를 유지하도록 한다. 안전 프레임워크의 허위 진술에 대한 벌금은 위반당 최대 1,000만 달러이며, 실제 피해는 최대 5,000만 달러의 벌금을 초래할 수 있다. 그러나 이 법안은 민사 소송권(private right of action)을 창설하지 않는다고 명시적으로 밝히고 있어, 개인이 이 법에 따라 개발자를 직접 고소할 수 없다.
지지 및 반대
이 법안은 양극화된 반응을 불러일으켰다. AI 안전 센터(Center for AI Safety)와 미래 생명 연구소를 포함한 지지자들은 이 법안이 실존적 위험을 가진 기술에 필수적인 안전장치를 제공한다고 주장했다. 그들은 대다수의 AI 연구자들이 고급 AI로 인한 재앙적 결과의 상당한 가능성을 믿는다는 설문 조사를 언급했다. 지지자들은 또한 법안의 컴퓨팅 기준이 가장 큰 연구소에만 영향을 미쳐 신생 기업과 학술 기관을 보호한다고 지적했다.
반대자들은 두 주요 진영에서 나왔다. 상공회의소와 여러 AI 기업을 포함한 산업계 그룹은 이 법안이 혁신을 억누르고 AI 개발을 캘리포니아 밖으로 몰아낼 것이라고 주장했다. 그들은 무과실 책임 기준이 오픈소스 개발을 억제할 것이라고 주장했는데, 수정된 모델조차 원래 개발자에게 추적될 수 있기 때문이다. Fei-Fei Li 및 Andrew Ng과 같은 일부 기술 전문가들은 이 법안이 현재 능력보다는 추측적 두려움에 기반하고 있다고 주장하며 반대 서한에 서명했다.
두 번째 비판 그룹은 일부 AI 안전 연구자들을 포함하여 이 법안이 너무 약하다고 주장했다. 그들은 컴퓨팅 기준이 분산 훈련이나 더 효율적인 알고리즘 사용으로 우회될 수 있으며, 책임 조항이 '합리적으로 예측 가능한' 피해에만 적용되어 증명하기 어려울 수 있다고 지적했다. 일부는 다른 도구와 결합하여 여전히 위험할 수 있는 더 작은 모델을 다루지 않는다고 비판했다.
수정 및 타협
입법 과정에서 SB 1047은 일부 우려를 해결하기 위해 수정되었다. 원래 버전은 개발자가 모델이 대량살상무기 제작에 사용될 수 없다고 인증하도록 요구했지만, 비평가들은 이를 보장할 수 없다고 불가능하다고 주장했다. 이는 '합리적 보증' 기준으로 변경되었다. 법안은 또한 군사 또는 국가 안보 목적으로만 사용되는 모델에 대한 면제를 추가했으며, 훈련 컴퓨팅이 10^26 FLOPs 미만인 오픈소스 모델은 대상이 아니라고 명확히 했다.
또 다른 중요한 수정은 AI를 규제할 새로운 주 기관을 창설하는 조항의 삭제였다. 대신 법안은 기존 부서에 의존하며 기술부가 주도한다. 이는 관료적 과잉을 두려워하는 반대자들에 대한 양보로 여겨졌다.
주지사 거부권 및 여파
뉴섬 주지사는 2024년 9월 29일 SB 1047에 거부권을 행사하여 많은 관찰자를 놀라게 했다. 거부 메시지에서 뉴섬은 이 법안이 '의도는 좋았지만' 지나치게 광범위하며, 적절한 연방 조정 없이 AI 개발자에게 '경직되고, 비용이 많이 들며, 잠재적으로 치명적인' 요구 사항을 부과할 것이라고 주장했다. 그는 캘리포니아가 연방 정부 및 다른 주와 협력하여 통합 규제 프레임워크를 개발해야 한다고 제안하며 더 '유연한' 접근 방식을 촉구했다.
거부권은 산업계 그룹과 일부 학계에서 환영받았지만, 안전 옹호자들을 실망시켰다. 위너 상원의원은 다음 입법 회기에서 수정을 거쳐 법안을 재발의하겠다고 다짐했다. 그 사이 캘리포니아는 AI 생성 콘텐츠의 투명성을 요구하는 법률과 AI의 고용 영향에 대한 태스크포스를 포함한 다른 AI 규제를 계속 추진하고 있다.
광범위한 영향
SB 1047의 궤적은 미국 내 AI 규제에 대한 광범위한 논쟁을 반영한다. 유럽 연합이 2024년 AI 법(AI Act)을 통과시킨 반면, 미국은 주로 기업의 자발적 약속에 의존해 왔다. 이 법안의 실패는 정의가 몇 달 안에 구식이 될 수 있는 빠르게 진화하는 기술을 규제하는 어려움을 강조한다. 그러나 그 도입은 이미 기업 행동에 영향을 미쳤으며, 여러 주요 AI 연구소가 SB 1047의 요구 사항을 반영한 자발적 안전 프레임워크를 발표했다.
이 법안은 또한 기술 규제에서 주 정부의 역할에 대한 질문을 제기했다. 지지자들은 캘리포니아가 시민을 보호할 책임이 있다고 주장했고, 반대자들은 기업에 부담을 주는 주법의 모자이크를 경고했다. 이 논쟁은 AI 능력이 성장하고 피해 가능성이 더 구체화됨에 따라 계속될 가능성이 높다. 2025년 초 현재 다른 어떤 주에서도 유사한 법안이 통과되지 않았지만, 이 문제는 입법자들에게 우선순위로 남아 있다.
기술적 및 윤리적 고려 사항
이 법안의 10^26 FLOPs 컴퓨팅 기준은 GPT-4와 같은 모델의 훈련 비용 추정치(약 2.1e25 FLOPs로 추정)와 일치한다는 점에서 주목할 만하다. 이는 OpenAI, Anthropic, Google DeepMind이 개발한 모델을 포함한 소수의 모델만 대상이 된다는 것을 의미한다. 그러나 기준은 정적이지 않다. 법안에는 기술부가 컴퓨팅 성능 추세에 따라 기준을 조정할 수 있는 조항이 포함되어 하드웨어가 개선됨에 따라 관련성을 유지하도록 한다.
윤리적으로 이 법안은 AI 행동에 대한 책임에 대한 질문을 제기한다. 전통적인 소프트웨어에서 개발자가 일반적으로 사용자 오용에 대해 책임을 지지 않는 것과 달리, SB 1047은 예측 가능한 피해에 대해 개발자를 책임지게 한다. 이러한 변화는 AI 시스템이 중립적 도구가 아니라 행위 주체(agency)를 가지며 창작자에게 주의 의무(duty of care)가 있다는 성장하는 합의를 반영한다. 비평가들은 이로 인해 과도한 신중한 개발이 초래되어 의료 진단이나 기후 모델링과 같은 유익한 응용의 진전을 늦출 수 있다고 주장한다.
이 법안은 또한 Model Pruning 및 Data Augmentation 문제를 다룬다. 개발자가 규제를 피하기 위해 모델의 컴퓨팅 발자국을 줄이려고 할 수 있기 때문이다. 그러나 법안의 '대상 모델' 정의는 대상 모델의 파생 모델을 포함하므로 우회가 어렵다. 이 '파생' 조항은 주요 논쟁 지점이었으며, 오픈소스 옹호자들은 OpenPanel 커뮤니티의 혁신을 위축시킬 것이라고 주장했다.
결론
캘리포니아 SB 1047은 제품 안전, 환경법, 기술 정책의 요소를 결합하여 최첨단 AI를 규제하려는 획기적인 시도를 나타낸다. 거부권이 행사되었지만, 이 법안은 캘리포니아와 다른 곳에서의 미래 입법 노력에 선례를 설정했다. 컴퓨팅 기준, 안전 프레임워크, 재앙적 피해에 대한 책임과 같은 핵심 아이디어는 주 또는 연방 수준에서 어떤 형태로든 다시 등장할 가능성이 높다. SB 1047에 대한 논쟁은 또한 AI 안전에 대한 공개 담론을 활성화하여 Reinforcement Learning from AI Feedback (RLAIF) 및 Gradient Clipping과 같은 문제를 주류 대화로 가져왔다. AI가 계속 발전함에 따라 이를 어떻게 통치할 것인지에 대한 질문은 21세기의 가장 시급한 과제 중 하나로 남을 것이다.
참고 문헌
- 캘리포니아 주 상원. (2024). SB 1047: 최첨단 인공지능 모델을 위한 안전하고 안전한 혁신 법안. 입법 고문 요약.
- 위너, S. (2024). SB 1047 발의에 관한 보도 자료.
- 뉴섬, G. (2024). SB 1047에 대한 거부 메시지.
- 미래 생명 연구소. (2024). SB 1047 분석.
- AI 안전 센터. (2024). SB 1047에 대한 성명.