2023년 2월, 파키스탄 전 총리인 임란 칸의 딥페이크 영상이 온라인에 공개되었으며, 그가 다가오는 총선에서 승리를 선언하는 모습이 묘사되었습니다. 소셜 미디어 플랫폼에서 널리 공유된 이 영상은 나중에 Generative AI 기술을 사용한 합성 제작물로 확인되었습니다. 이는 국가 선거 캠페인에서 딥페이크가 사용된 첫 번째 고위급 사례 중 하나로, Artificial intelligence가 민주적 과정에 미치는 영향에 대한 우려를 제기했습니다.
이 영상은 2022년 4월 칸의 해임과 이후의 법적 문제에 이어 파키스탄에서 격렬한 정치적 혼란이 있던 시기에 표면화되었습니다. 딥페이크는 당시 공직 출마가 금지된 칸이 군중에게 연설하며 그해 말로 예정된 선거에서 승리를 주장하는 모습을 보여주었습니다. 영상의 진위는 언론인과 팩트체커에 의해 빠르게 의문이 제기되었으며, 그들은 얼굴 움직임과 오디오 품질의 불일치를 지적하여 Deep learning 알고리즘의 산물로 식별했습니다.
기술적 기원과 제작
딥페이크는 사용자가 영상에서 얼굴을 바꾸고 오디오를 조작할 수 있게 해주는 공개적으로 이용 가능한 Machine learning 도구를 사용하여 제작되었습니다. 정확한 소프트웨어는 확인되지 않았지만, 전문가들은 이 영상이 사실적인 표정과 입술 동기화를 생성하기 위해 Residual Network (ResNet) 또는 U-Net과 같은 Neural network 아키텍처를 사용했을 가능성이 높다고 제안했습니다. 칸의 목소리를 모방한 오디오는 그의 공개 연설로 훈련된 Large language model 또는 텍스트 음성 변환 시스템을 사용하여 합성되었을 가능성이 있습니다. 영상의 제작자는 확인되지 않았지만, 분석가들은 선거를 앞두고 여론에 영향을 미치려는 정치 운영자들이 제작했을 것으로 믿고 있습니다.
딥페이크의 공개는 남아시아 정치에서 합성 미디어 사용의 광범위한 추세와 일치했으며, Generative AI 도구가 점점 더 접근 가능해졌습니다. 조작된 사진이나 편집된 클립과 같은 초기 형태의 잘못된 정보와 달리, 이 영상은 전문적인 전문 지식을 요구하지 않아 Deep learning 기술의 민주화를 강조했습니다. 이 사건은 2022년 우크라이나 대통령 볼로디미르 젤렌스키의 딥페이크와 같은 다른 국가의 유사한 사례와 비교되었지만, 실제 선거 주기 중에 발생한 시점에서 주목할 만했습니다.
정치적 및 법적 대응
딥페이크는 파키스탄 당국과 국제 관찰자들의 즉각적인 반응을 촉발했습니다. 파키스탄 선거 위원회는 가짜 콘텐츠 유포에 대한 경고 성명을 발표했으며, 파키스탄 통신 당국은 영상의 출처를 조사 중인 것으로 보고되었습니다. 칸의 정당인 파키스탄 테흐리크-e-인사프(PTI)는 관련성을 부인했으며, 칸 자신은 법적 제한으로 인해 영상에 대해 공개적으로 언급하지 않았습니다. 법률 전문가들은 2016년에 제정된 파키스탄의 사이버 범죄법이 딥페이크를 구체적으로 다루지 않아 규제 공백을 남겼다고 지적했습니다.
유엔을 포함한 국제 기구는 이 사건을 계기로 AI 기반 허위 정보에 대한 더 강력한 보호 장치를 요구했습니다. 이 영상은 MIT CSAIL 연구자와 다른 학술 기관의 보고서에서 디지털 콘텐츠 검증의 어려움에 대한 사례 연구로 인용되었습니다. 이에 대응하여 트위터와 페이스북과 같은 일부 소셜 미디어 플랫폼은 조작된 미디어에 대한 더 엄격한 정책을 시행했지만, 집행은 일관되지 않았습니다. 이 사건은 또한 시민들이 Artificial intelligence로 생성된 콘텐츠를 식별하도록 돕기 위한 미디어 리터러시 프로그램의 필요성에 대한 논의를 파키스탄에서 촉발했습니다.
선거 무결성에 미치는 영향
딥페이크의 공개는 파키스탄의 공공 담론에 측정 가능한 영향을 미쳤습니다. 영상 등장 후 몇 주 동안 실시된 설문 조사에 따르면, AFP와 로이터와 같은 매체의 팩트체킹 노력에도 불구하고 상당수의 인구가 영상이 진짜라고 믿었습니다. 이러한 혼란은 검증 도구가 제한된 왓츠앱 및 기타 메시징 플랫폼에서 공유된 클립의 바이러스성 특성으로 인해 악화되었습니다. 이 사건은 Machine learning이 선거 결과를 형성하는 역할, 특히 소셜 미디어 사용률이 높지만 디지털 리터러시가 낮은 국가에서의 역할에 대한 의문을 제기했습니다.
선거 관찰자들은 딥페이크가 최종 결과를 바꾸지 않았다고 지적했지만, 칸의 정당은 결국 선거 출마가 금지되었으며, 이는 향후 캠페인에 선례를 남겼습니다. 이 영상은 Generative AI가 설득력 있는 거짓 서사를 만드는 데 사용될 수 있음을 보여주며, 민주적 제도에 대한 신뢰를 훼손할 가능성이 있음을 입증했습니다. 일부 분석가들은 딥페이크가 가짜 뉴스 기사와 조작된 이미지를 포함한 더 큰 허위 정보 캠페인의 일부라고 주장했지만, 영상을 특정 정치 세력과 연결하는 직접적인 증거는 없었습니다.
기술적 대응 조치
사건 이후, 연구자와 기술 회사들은 딥페이크 탐지 도구 개발을 가속화했습니다. OpenAI와 Google DeepMind와 같은 조직은 이미 AI 생성 콘텐츠에 대한 워터마킹 및 인증 방법을 연구하고 있었지만, 파키스탄 사례는 이러한 노력의 시급성을 강조했습니다. Amazon Web Services 및 기타 클라우드 제공업체는 합성 미디어를 표시할 수 있는 AI 기반 콘텐츠 중재 서비스를 제공하기 시작했지만, 그 효과는 다양했습니다. Stanford AI Lab 및 BAIR (Berkeley AI Research)를 포함한 학술 기관은 딥페이크를 만드는 데 자주 사용되는 적대적 공격에 대한 Neural network 견고성을 개선하는 논문을 발표했습니다.
이러한 발전에도 불구하고 탐지는 군비 경쟁으로 남아 있으며, 딥페이크 제작자들은 Transformer (architecture) 아키텍처와 같은 최신 모델을 사용하여 기술을 지속적으로 개선하고 있습니다. 이 사건은 또한 규제 프레임워크에 대한 요구로 이어졌으며, 일부 전문가들은 유럽 연합의 AI 법에서 취한 접근 방식과 유사하게 AI 생성 콘텐츠의 의무 라벨링을 제안했습니다. 파키스탄에서 정부는 합성 미디어에 대한 조항을 포함하도록 사이버 범죄법을 업데이트할 계획을 발표했지만, 2025년 현재 이러한 변경은 완전히 시행되지 않았습니다.
AI 거버넌스에 대한 광범위한 영향
임란 칸의 딥페이크는 AI 거버넌스에 대한 글로벌 논쟁에서 참조점이 되었습니다. 이는 AI for Good Summit과 같은 회의와 브루킹스 연구소와 같은 싱크탱크의 정책 문서에서 논의되었습니다. 이 사건은 창의적 목적을 위해 설계된 도구가 정치적 조작에 오용될 수 있는 Artificial intelligence의 이중 사용 특성을 보여주었습니다. 또한 Generative AI가 제기하는 문제를 해결하기 위해 기술 회사, 정부 및 시민 사회 간의 협력 필요성을 강조했습니다.
영상 공개 이후 몇 년 동안 인도, 브라질 및 미국의 선거에서 유사한 딥페이크가 나타났지만, 파키스탄 사례는 초기 시점과 영향의 명확성에서 주목할 만합니다. Carnegie Mellon University 및 기타 기관의 연구자들은 이 사건을 사용하여 정치적 딥페이크 탐지 벤치마크를 개발했으며, 이는 AI 안전 분야에 기여했습니다. 이 사건은 또한 AI 시스템을 인간 가치에 더 잘 맞추는 것을 목표로 하는 Reinforcement Learning from AI Feedback (RLAIF) (AI 피드백에서 강화 학습)와 같은 도구의 개발에 영향을 미쳤지만, 이러한 노력은 아직 초기 단계에 있습니다.
임란 칸의 딥페이크는 기술과 민주주의의 교차점에 대한 경고 이야기로 작용합니다. 이는 Machine learning이 설득력 있는 거짓을 생성할 수 있는 시대에 강력한 검증 메커니즘과 공공 인식의 중요성을 강조합니다. Artificial intelligence가 계속 진화함에 따라, 이 사건의 교훈은 선거 무결성을 보존하기 위한 향후 정책과 기술 혁신에 정보를 제공할 가능성이 높습니다.