캘리포니아 AI 딥페이크 법률은 합성 미디어, 일반적으로 딥페이크로 알려진 콘텐츠의 생성과 배포를 규제하기 위해 제정된 일련의 주 법령으로, 특히 선거와 음란물 맥락에서 적용된다. 이러한 법률은 사실적이지만 조작된 이미지, 비디오, 오디오를 더 쉽게 제작할 수 있게 만든 Generative AI 기술의 급속한 발전에 대응한다. 이 법안은 선거 허위 정보, 비동의 친밀 이미지, 사기와 같은 위험을 완화하는 동시에 표현의 자유와 기술 혁신에 대한 우려를 균형 있게 조정하는 것을 목표로 한다.
딥페이크는 '딥러닝'과 '가짜'의 합성어로, Artificial intelligence 기술, 특히 생성적 적대 신경망(GAN)과 같은 Machine learning 및 Neural network 아키텍처를 사용하여 생성되거나 변경된 미디어 산출물이다. 조작된 미디어의 개념은 새로운 것이 아니지만, AI의 사용은 그러한 콘텐츠의 사실성과 접근성을 극적으로 증가시켰다. 캘리포니아에서 입법자들은 이러한 문제를 해결하기 위해 여러 법안을 도입하고 통과시켰으며, 이는 합성 미디어의 오용에 대한 광범위한 사회적 우려를 반영한다.
입법 배경
캘리포니아는 미국에서 딥페이크 규제의 선두에 서 있으며, 2019년에 첫 번째 법률 물결이 제정되었다. 이러한 초기 법령은 정치적 딥페이크와 성적 딥페이크라는 두 가지 주요 영역에 초점을 맞추었다. 주의 접근 방식은 기술이 발전함에 따라 진화해 왔으며, 이후 수정안과 새로운 법안이 민사 소송에서의 딥페이크와 온라인 플랫폼의 의무와 같은 새로운 문제를 다루고 있다.
입법 노력은 딥페이크 관련 피해에 대응하기 위한 미국 주들의 광범위한 추세의 일부이다. 2023년 기준으로 12개 이상의 주가 유사한 법률을 제정했지만, 캘리포니아의 조항은 주의 기술 허브 역할과 대규모 미디어 산업을 고려할 때 가장 포괄적인 것으로 자주 언급된다.
선거 및 정치적 딥페이크
2019년에 서명된 캘리포니아의 초기 법률 중 하나인 하원 법안 730(AB 730)은 선거 커뮤니케이션에서 기만적인 오디오 또는 시각 미디어를 대상으로 했다. 이 법은 선거 60일 이내에 후보자의 평판을 해치거나 유권자를 속일 의도로 선출직 후보의 실질적으로 기만적인 미디어 배포를 금지한다. 변경되었거나 뉴스 방송 또는 논평의 일부로 표시된 미디어에 대한 예외를 포함한다.
AB 730은 이후 2024년에 제정된 하원 법안 2653(AB 2653)에 의해 수정되고 보완되었으며, 대규모 온라인 플랫폼이 선거와 관련된 기만적인 AI 생성 콘텐츠를 제거하거나 표시하도록 요구한다. 이 법은 최소 100만 명의 캘리포니아 사용자를 보유한 플랫폼에 적용되며, 통지 후 72시간 이내에 해당 콘텐츠를 차단하거나 표시하도록 의무화한다. 또한 후보자가 이를 준수하지 않는 플랫폼에 대해 금지 명령을 구할 수 있도록 허용한다.
이러한 법률은 딥페이크가 선거 결과에 영향을 미치는 것을 방지하기 위해 설계되었으며, 이는 설득력 있는 가짜 연설이나 인터뷰를 생성할 수 있는 Large language model 및 기타 생성 도구의 부상으로 우려가 커졌다. 이 법령은 민주적 절차를 보호해야 할 필요성과 풍자 및 패러디에 대한 수정 헌법 제1조 보호 사이의 균형을 목표로 한다.
비동의 친밀 이미지
캘리포니아는 또한 개인의 동의 없이 초상화를 사용하여 성적으로 노골적인 콘텐츠를 생성하는 딥페이크 음란물을 다루는 법률을 제정했다. 2019년에 통과된 하원 법안 602(AB 602)는 딥페이크 음란물 피해자가 창작자와 배포자를 상대로 손해 배상을 청구할 수 있도록 허용하며, 위반당 최대 50,000달러의 법정 손해 배상을 포함한다. 이 법은 실제 및 시뮬레이션 이미지를 모두 다루며, 묘사된 사람의 동의 없이 배포되는 콘텐츠에 적용된다.
2020년에 상원 법안 820(SB 820)은 리벤지 포르노의 정의를 AI 생성 이미지를 포함하도록 확장하여, 괴롭히거나 정서적 고통을 유발할 의도로 딥페이크 친밀 이미지를 배포하는 것을 범죄로 규정했다. 이 법은 심리적 트라우마, 평판 손상, 심지어 금융 사기와 연결된 합성 미디어의 피해를 해결하기 위한 광범위한 노력의 일부이다.
이러한 법령은 딥페이크가 특히 여성과 공인에 대한 학대 도구로 사용될 수 있다는 인식을 반영한다. 법률은 민사 및 형사 구제책을 모두 제공하지만, 온라인 행위자의 익명성과 인터넷의 교차 관할 특성으로 인해 집행은 여전히 어려운 과제로 남아 있다.
기타 딥페이크 규제
선거와 음란물 외에도 캘리포니아는 딥페이크 관련 다른 피해를 다루는 법률을 제정했다. 예를 들어, 2024년에 통과된 하원 법안 1280(AB 1280)은 대규모 온라인 플랫폼이 공중 보건 또는 공공 안전에 대한 허위 정보를 퍼뜨리는 데 사용되는 경우와 같은 특정 맥락에서 AI 생성 콘텐츠를 표시하도록 요구한다. 이 법은 합성 미디어에 대한 투명성을 높이기 위한 광범위한 노력의 일부이다.
또한 캘리포니아는 법정에서 가짜 증거를 사용하는 것과 같은 민사 절차에서의 딥페이크를 다루고 상업 광고에서 딥페이크 사용을 규제하는 법안을 고려해 왔다. 이러한 노력은 입법자들이 기술 발전에 발맞추기 위해 계속되고 있다.
주의 접근 방식은 딥페이크의 사회적 영향과 탐지 방법의 효과를 연구한 BAIR (Berkeley AI Research) 및 Stanford AI Lab과 같은 기관의 연구에 영향을 받았다. 그러나 현재 날짜 기준으로 딥페이크를 구체적으로 규제하는 연방 법률은 없으며, 캘리포니아와 같은 주가 선도적인 역할을 하고 있다.
집행 및 과제
캘리포니아 딥페이크 법률의 집행은 여러 장애물에 직면해 있다. 한 가지 과제는 Generative AI 모델이 더 정교해짐에 따라 딥페이크 탐지의 어려움이다. 연구자들이 탐지 기술을 개발했지만 항상 신뢰할 수 있는 것은 아니며, 딥페이크는 필터를 회피할 수 있다. 또 다른 과제는 많은 딥페이크 창작자가 미국 외부에서 활동하여 주 법률을 적용하기 어렵게 만드는 관할권 문제이다.
플랫폼은 또한 콘텐츠 중재 정책의 일관되지 않은 집행에 대해 비판을 받아 왔다. 2024년 법률은 플랫폼이 기만적인 선거 콘텐츠를 표시하거나 제거하도록 요구하는 것으로, 일부 책임을 기술 기업에 전가하려는 시도이지만 얼마나 효과적으로 구현될지는 아직 지켜봐야 한다. 법률 전문가들은 이 법률이 특히 표현의 자유와 '실질적으로 기만적인' 정의와 관련하여 헌법적 도전에 직면할 수 있다고 지적했다.
이러한 과제에도 불구하고 캘리포니아의 법률은 다른 주에 선례를 설정했으며 연방 제안에서 인용되었다. 이는 기술이 계속 진화함에 따라 AI 생성 미디어의 피해를 완화하기 위한 선제적 접근 방식을 나타낸다.
영향 및 평가
캘리포니아 딥페이크 법률의 지지자들은 AI의 악의적 사용으로부터 개인과 민주적 제도를 보호하는 데 필요하다고 주장한다. 그들은 정치인이 선동적인 발언을 하는 가짜 비디오와 같은 허위 정보를 퍼뜨리는 딥페이크 사례와 비동의 음란물로 개인을 괴롭히는 사례를 지적한다. 이 법률은 악의적인 행위자를 억제하고 피해자에게 구제책을 제공하는 방법으로 여겨진다.
그러나 비평가들은 과잉 규제에 대한 우려를 제기한다. 일부는 이 법률이 정치적 풍자나 예술적 표현과 같은 합법적인 표현을 억압하는 데 사용될 수 있다고 주장한다. 다른 이들은 표시 요구 사항이 비현실적이며 소규모 플랫폼에 부담을 줄 수 있다고 우려한다. 이러한 논쟁은 Artificial intelligence 분야에서 혁신과 규제 사이의 광범위한 긴장을 반영한다.
2025년 현재, 이러한 법률의 영향은 여전히 평가 중이다. 초기 법원 사건은 법률의 경계를 시험했으며 일부 조항이 도전을 받았다. 그럼에도 불구하고 캘리포니아는 AI 규제의 선도 지표로 남아 있으며, 그 딥페이크 법률은 주 및 연방 차원에서 향후 정책에 영향을 미칠 가능성이 높다.
향후 방향
Deep learning 및 Transformer (architecture) 모델을 포함한 AI 기술의 급속한 발전은 딥페이크 법률이 정기적으로 업데이트되어야 함을 시사한다. 캘리포니아 입법자들은 이 문제를 계속 모니터링하고 필요에 따라 새로운 법안을 도입할 것이라고 밝혔다. 잠재적인 향후 규제 영역에는 금융 사기를 위한 음성 복제와 같은 사기에 사용되는 딥페이크와 지적 재산 및 동의에 대한 질문을 제기하는 엔터테인먼트 산업의 딥페이크가 포함된다.
또한 법적 조치를 보완할 수 있는 워터마킹 및 인증 시스템과 같은 기술적 솔루션에 대한 관심도 증가하고 있다. 정책 입안자, 기술자, 연구자 간의 협력은 효과적인 대응을 개발하는 데 필수적일 것이다. 주의 노력은 합성 미디어를 규제하는 방법에 대한 글로벌 논의의 일부이며, 다른 국가와 국제 기구도 규제 프레임워크를 모색하고 있다.
요약하면, 캘리포니아의 AI 딥페이크 법률은 합성 미디어가 제기하는 문제를 해결하기 위한 중요한 시도를 나타낸다. 이는 선거 간섭과 비동의 음란물이라는 가장 즉각적인 피해를 대상으로 하면서 향후 조정을 위한 여지를 남긴다. 기술이 진화함에 따라 법적 환경도 진화할 것이며, 캘리포니아의 경험은 다른 관할권에 귀중한 교훈을 제공할 것이다.