2023年2月、パキスタンの元首相であるイムラン・カーン氏のディープフェイク動画がオンライン上で公開され、同氏が同国の迫る総選挙での勝利を宣言する様子が描かれた。この動画はソーシャルメディアプラットフォーム上で広く共有されたが、後にGenerative AI技術を用いた合成物であると特定された。これは、国政選挙キャンペーンでディープフェイクが使用された最初の注目すべき事例の一つとなり、民主的プロセスに対するArtificial intelligenceの影響についての懸念を引き起こした。
この動画は、2022年4月にカーン氏が失職し、その後法的な課題に直面した後、パキスタンで激しい政治的混乱が続く時期に表面化した。ディープフェイクは、当時公職に就くことを禁止されていたカーン氏が群衆に向かって演説し、同年後半に予定されていた選挙での勝利を主張する様子を示していた。この動画の信憑性は、ジャーナリストやファクトチェッカーによってすぐに疑問視され、顔の動きや音声品質の不整合が指摘され、Deep learningアルゴリズムの産物であると特定された。
技術的な起源と作成
このディープフェイクは、公開されているMachine learningツールを使用して作成され、ユーザーが動画内の顔を交換したり音声を操作したりすることが可能だった。正確なソフトウェアは未確認のままだが、専門家は、この動画がNeural networkアーキテクチャ、例えばResidual Network (ResNet)やU-Netを採用して、リアルな表情やリップシンクを生成した可能性が高いと示唆した。カーン氏の声を模倣した音声は、おそらくLarge language modelまたは同氏の公の演説で訓練されたテキスト読み上げシステムを使用して合成された。この動画の作成者は特定されていないが、アナリストは、選挙前に世論に影響を与えようとする政治工作員によって制作されたと考えている。
このディープフェイクの公開は、南アジアの政治における合成メディア使用の広範な傾向と同時期に起こり、Generative AIツールがますます利用しやすくなっていた。改ざんされた写真や編集されたクリップなどの初期の偽情報とは異なり、この動画は専門的な専門知識を必要とせず、Deep learning技術の民主化を浮き彫りにした。この出来事は、2022年のウクライナのヴォロディミル・ゼレンスキー大統領のディープフェイクなど、他国での類似事例と比較されたが、生きた選挙サイクル中に発生した点で注目に値した。
政治的・法的対応
このディープフェイクは、パキスタン当局や国際的なオブザーバーから即座に反応を引き出した。パキスタン選挙管理委員会は、偽コンテンツの拡散に対する警告を発し、パキスタン電気通信庁が動画の出所を調査していると報じられた。カーン氏の政党であるパキスタン正義運動（PTI）は関与を否定し、カーン氏自身も法的制約のため、この動画について公にコメントしなかった。法律専門家は、2016年に制定されたパキスタンのサイバー犯罪法がディープフェイクに特に対処しておらず、規制のギャップを残していると指摘した。
国連を含む国際機関は、この出来事を利用して、AI主導の偽情報に対するより強力な保護策を求めた。この動画は、MIT CSAILの研究者や他の学術機関による報告書で、デジタルコンテンツの検証の課題に関するケーススタディとして引用された。これに応じて、TwitterやFacebookなどの一部のソーシャルメディアプラットフォームは、操作されたメディアに関するより厳格なポリシーを実施したが、執行は一貫していなかった。この出来事はまた、パキスタンで、市民がArtificial intelligence生成コンテンツを識別するのを助けるメディアリテラシープログラムの必要性についての議論を促進した。
選挙の完全性への影響
このディープフェイクの公開は、パキスタンの公共の議論に測定可能な影響を与えた。動画の出現後数週間に行われた調査では、AFPやロイターなどのアウトレットによるファクトチェックの努力にもかかわらず、人口のかなりの部分が動画が本物であると信じていたことが示された。この混乱は、検証ツールが限られているWhatsAppや他のメッセージングプラットフォームで共有されたクリップのバイラルな性質によって悪化した。この出来事は、Machine learningが選挙結果を形成する役割、特にソーシャルメディアの使用率が高いがデジタルリテラシーが低い国々での役割についての疑問を提起した。
選挙オブザーバーは、カーン氏の政党が最終的に選挙への参加を禁止されたため、ディープフェイクが最終結果を変えなかったが、将来のキャンペーンの前例を設定したと指摘した。この動画は、Generative AIが説得力のある虚偽の物語を作成するためにどのように使用され得るかを示し、民主的制度への信頼を損なう可能性があった。一部のアナリストは、ディープフェイクが、偽のニュース記事や操作された画像も含むより大規模な偽情報キャンペーンの一部であると主張したが、動画を特定の政治派閥に直接結び付ける証拠はなかった。
技術的な対策
この出来事の後、研究者やテクノロジー企業は、ディープフェイクの検出ツールの開発を加速させた。OpenAIやGoogle DeepMindなどの組織は、AI生成コンテンツの透かしや認証方法にすでに取り組んでいたが、パキスタンの事例はこれらの取り組みの緊急性を浮き彫りにした。Amazon Web Servicesや他のクラウドプロバイダーは、合成メディアをフラグ付けできるAIベースのコンテンツモデレーションサービスを提供し始めたが、その効果はさまざまであった。Stanford AI LabやBAIR (Berkeley AI Research)を含む学術機関は、ディープフェイクの作成によく使用される敵対的攻撃に対するNeural networkの堅牢性を向上させる論文を発表した。
これらの進歩にもかかわらず、検出は軍拡競争のままであり、ディープフェイクの作成者はTransformer (architecture)アーキテクチャなどの新しいモデルを使用して技術を継続的に洗練させている。この出来事はまた、規制枠組みへの呼びかけにつながり、一部の専門家は、欧州連合のAI法が取るアプローチと同様に、AI生成コンテンツの強制ラベル付けを提案した。パキスタンでは、政府が合成メディアの規定を含むようにサイバー犯罪法を更新する計画を発表したが、2025年現在、これらの変更は完全には実施されていない。
AIガバナンスへの広範な影響
イムラン・カーン氏のディープフェイクは、AIガバナンスに関する世界的な議論の参照点となった。これは、AI for Goodサミットなどの会議や、ブルッキングス研究所などのシンクタンクによる政策文書で議論された。この出来事は、Artificial intelligenceの二重使用の性質を示し、創造的な目的のために設計されたツールが政治的操作に悪用される可能性があることを明らかにした。また、Generative AIによってもたらされる課題に対処するために、テクノロジー企業、政府、市民社会の間の協力の必要性を強調した。
動画の公開後数年で、同様のディープフェイクがインド、ブラジル、米国の選挙で出現したが、パキスタンの事例は、その早期のタイミングと影響の明確さで注目に値する。Carnegie Mellon Universityや他の機関の研究者は、この出来事を使用して政治的ディープフェイクを検出するためのベンチマークを開発し、AI安全性の分野に貢献した。この出来事はまた、AIシステムを人間の価値観により整合させることを目的としたReinforcement Learning from AI Feedback (RLAIF)（AIフィードバックからの強化学習）などのツールの開発にも影響を与えたが、これらの取り組みはまだ初期段階にある。
イムラン・カーン氏のディープフェイクは、テクノロジーと民主主義の交差点についての警告の物語として機能する。これは、Machine learningが説得力のある虚偽を生み出すことができる時代において、堅牢な検証メカニズムと一般の認識の重要性を強調している。Artificial intelligenceが進化し続けるにつれて、この出来事からの教訓は、選挙の完全性を維持することを目的とした将来の政策や技術革新に情報を提供する可能性が高い。