2023년 6월, 플로리다 주지사 론 디샌티스를 등장시킨 조작된 동영상이 가짜 지지 광고로 온라인에 유포되었다. 이 딥페이크는 인공지능을 사용해 주지사의 모습과 목소리를 합성한 것으로, 그의 대선 캠페인을 위한 홍보 영상으로 제시되었다. 이 동영상의 진위는 팩트체커와 언론 기관들에 의해 빠르게 도전받았으며, 이는 진짜 캠페인 자료가 아닌 합성물로 식별되었다. 이 사건은 정치 커뮤니케이션에서 생성형 AI의 역할 증가와 선거 콘텐츠 검증의 어려움에 주목을 끌었다.
이 딥페이크는 정치 활동이 고조된 시기에 등장했는데, 디샌티스는 2023년 5월 24일 일론 머스크와의 트위터 스페이스 이벤트를 통해 2024년 공화당 대통령 후보 지명을 공식 발표했다. 트위터(현 X)와 유튜브를 포함한 소셜 미디어 플랫폼에 등장한 이 가짜 광고는 디샌티스가 알려진 공개 발언 및 캠페인 메시지와 일치하지 않는 모습을 보여주었다. 이는 공식 디샌티스 캠페인이 제작한 것이 아니었으며, 캠페인은 언론 매체에 대한 성명에서 이 동영상을 부인했다. 동영상의 출처는 불분명했지만, 분석가들은 주지사를 패러디하거나 신뢰를 떨어뜨리려는 개인이나 단체가 만들었을 수 있다고 제안했다.
기술적 특성
이 딥페이크는 얼굴 이미지와 오디오 녹음의 대규모 데이터 세트로 훈련된 딥러닝 모델을 포함한 현대 생성형 AI에서 흔한 기술을 사용했다. 오토인코더나 생성적 적대 신경망과 같은 신경망 아키텍처를 기반으로 구축된 이러한 시스템은 대상 인물의 표정과 말투를 소스 배우에 매핑하여 사실적인 비디오를 합성할 수 있다. 이 경우, 동영상은 디샌티스가 공개적으로 발언하지 않은 말을 하는 모습을 보여주었으며, 입술 움직임과 음성 억양이 그의 매너리즘을 모방했다. MIT CSAIL 및 Stanford AI Lab과 같은 기관의 연구자들이 개발한 탐지 도구는 조작을 나타내는 깜박임, 조명 및 오디오 주파수의 불일치를 식별했다.
플랫폼 대응
소셜 미디어 플랫폼은 딥페이크 처리에 대한 비판에 직면했다. 소유주 일론 머스크 아래의 트위터는 2022년 콘텐츠 조정 직원을 줄였으며, 이는 잘못된 정보 확산에 대한 우려로 이어졌다. 구글이 소유한 유튜브는 시청자를 오도할 수 있는 조작된 콘텐츠에 대한 정책을 유지했지만, 집행은 다양했다. 두 플랫폼 모두 동영상을 즉시 제거하지 않았으며, 제3자 팩트체커에 의해 식별되기 전까지 며칠 동안 계속 유포되었다. 이 사건은 더 강력한 탐지 및 라벨링 시스템에 대한 요구를 촉발했으며, 일부 전문가들은 AI 생성 콘텐츠에 대한 필수 워터마크를 주장했다.
정치적 및 법적 영향
이 가짜 광고는 연방 캠페인에서 사기성 허위 표시를 금지하는 미국 선거법에 따른 법적 질문을 제기했다. 연방 선거 위원회는 딥페이크에 대한 구체적인 규칙을 아직 발표하지 않았지만, 캘리포니아와 텍사스를 포함한 일부 주에서는 기만적인 AI 생성 정치 콘텐츠를 범죄화하는 법률을 제정했다. 플로리다 자체는 당시 그러한 법령이 없어 규제 공백을 남겼다. 디샌티스 캠페인은 법적 조치를 취하지 않았지만, 이 사건은 2024년 선거 주기의 무결성에 대한 더 넓은 논쟁에 기여했다.
더 넓은 맥락
이 사건은 2023년 AI 생성 정치 콘텐츠의 물결의 일부였다. 그해 초, 공화당 전국위원회는 조 바이든 대통령 아래의 디스토피아적 미래를 묘사한 순수 AI 생성 광고를 공개했으며, 이는 합성임을 명확히 라벨링했다. 대조적으로, 디샌티스 딥페이크는 라벨링되지 않아 더 기만적이었다. BAIR (Berkeley AI Research) 및 University of Oxford의 연구자들은 2023년 중반에 딥페이크 탐지가 여전히 신뢰할 수 없으며, 고급 시스템에서도 오류율이 10% 이상이라고 보여주는 연구를 발표했다. 이 사건은 생성형 AI 도구가 더 접근 가능해짐에 따라 미디어 리터러시와 기술적 안전장치의 필요성을 강조했다.
여파
이 사건 이후, 비영리 단체인 OpenPanel을 포함한 여러 옹호 단체는 정치 광고에서 AI를 규제하는 연방 법안을 촉구했다. 2023년 8월, 연방 선거 위원회는 딥페이크에 대한 권한을 명확히 하기 위한 청원을 고려할 것이라고 발표했지만, 연말 전에 규칙 변경은 발생하지 않았다. 디샌티스 캠페인 자체는 짧은 부인 외에는 동영상에 공개적으로 대응하지 않았으며, 전통적인 캠페인 이벤트에 집중했다. 이 딥페이크는 학술 및 정책 논의에서 사례 연구로 남았으며, Carnegie Mellon University 및 Stanford AI Lab의 보고서에서 민주적 과정에 대한 새로운 위협의 예로 인용되었다.