En février 2023, une vidéo deepfake d'Imran Khan, ancien Premier ministre du Pakistan, a été publiée en ligne, le montrant en train de déclarer sa victoire aux élections générales à venir du pays. La vidéo, largement partagée sur les plateformes de médias sociaux, a ensuite été identifiée comme une création synthétique utilisant des techniques de Generative AI. Elle a marqué l'un des premiers cas très médiatisés d'utilisation d'un deepfake dans une campagne électorale nationale, soulevant des inquiétudes quant à l'impact de l'Artificial intelligence sur les processus démocratiques.
La vidéo est apparue pendant une période de turbulences politiques intenses au Pakistan, après la destitution de Khan en avril 2022 et les défis juridiques qui ont suivi. Le deepfake montrait Khan, qui était alors interdit d'exercer des fonctions publiques, s'adressant à une foule et revendiquant la victoire aux élections prévues plus tard dans l'année. L'authenticité de la vidéo a rapidement été remise en question par des journalistes et des vérificateurs de faits, qui ont noté des incohérences dans les mouvements faciaux et la qualité audio, ce qui a conduit à son identification comme un produit d'algorithmes de Deep learning.
Origines techniques et création
Le deepfake a été créé à l'aide d'outils de Machine learning accessibles au public, qui permettent aux utilisateurs d'échanger des visages et de manipuler l'audio dans les vidéos. Bien que le logiciel exact utilisé reste non confirmé, les experts ont suggéré que la vidéo employait probablement une architecture de Neural network, telle qu'un Residual Network (ResNet) ou un U-Net, pour générer des expressions faciales et un synchronisme labial réalistes. L'audio, qui imitait la voix de Khan, a probablement été synthétisé à l'aide d'un Large language model ou d'un système de synthèse vocale entraîné sur ses discours publics. Les créateurs de la vidéo n'ont jamais été identifiés, mais les analystes pensent qu'elle a été produite par des opérateurs politiques cherchant à influencer l'opinion publique avant les élections.
La publication du deepfake a coïncidé avec une tendance plus large de l'utilisation de médias synthétiques dans la politique sud-asiatique, où les outils de Generative AI sont devenus de plus en plus accessibles. Contrairement aux formes antérieures de désinformation, telles que les photos retouchées ou les clips édités, cette vidéo ne nécessitait aucune expertise spécialisée, soulignant la démocratisation des technologies de Deep learning. L'incident a été comparé à des cas similaires dans d'autres pays, comme le deepfake de 2022 du président ukrainien Volodymyr Zelensky, mais il était notable pour son timing pendant un cycle électoral en cours.
Réponse politique et juridique
Le deepfake a suscité des réactions immédiates des autorités pakistanaises et des observateurs internationaux. La Commission électorale du Pakistan a publié une déclaration mettant en garde contre la diffusion de contenus falsifiés, tandis que l'Autorité des télécommunications du Pakistan aurait enquêté sur l'origine de la vidéo. Le parti politique de Khan, le Pakistan Tehreek-e-Insaf (PTI), a nié toute implication, et Khan lui-même n'a pas commenté publiquement la vidéo, probablement en raison de ses restrictions juridiques. Les experts juridiques ont noté que les lois pakistanaises sur la cybercriminalité, promulguées en 2016, ne traitaient pas spécifiquement des deepfakes, laissant une lacune réglementaire.
Des organisations internationales, y compris les Nations Unies, ont utilisé l'incident pour appeler à des garanties plus solides contre la désinformation pilotée par l'IA. La vidéo a été citée dans des rapports de chercheurs de MIT CSAIL et d'autres institutions académiques comme une étude de cas sur les défis de la vérification du contenu numérique. En réponse, certaines plateformes de médias sociaux, comme Twitter et Facebook, ont mis en œuvre des politiques plus strictes sur les médias manipulés, bien que l'application soit restée incohérente. L'incident a également suscité des discussions au Pakistan sur la nécessité de programmes d'éducation aux médias pour aider les citoyens à identifier les contenus générés par l'Artificial intelligence.
Impact sur l'intégrité électorale
La publication du deepfake a eu un impact mesurable sur le discours public au Pakistan. Des sondages menés dans les semaines suivant l'apparition de la vidéo ont indiqué qu'une partie significative de la population croyait que la vidéo était authentique, malgré les efforts de vérification des faits par des agences comme AFP et Reuters. Cette confusion a été exacerbée par la nature virale du clip, partagé sur whatsapp et d'autres plateformes de messagerie, où les outils de vérification sont limités. L'incident a soulevé des questions sur le rôle du Machine learning dans la formation des résultats électoraux, en particulier dans les pays à forte utilisation des médias sociaux mais à faible littératie numérique.
Les observateurs électoraux ont noté que le deepfake n'a pas modifié les résultats finaux, car le parti de Khan a finalement été interdit de participer aux élections, mais il a établi un précédent pour les campagnes futures. La vidéo a démontré comment la Generative AI pouvait être utilisée pour créer des récits faux convaincants, sapant potentiellement la confiance dans les institutions démocratiques. Certains analystes ont soutenu que le deepfake faisait partie d'une campagne de désinformation plus large, qui comprenait également de faux articles de presse et des images manipulées, bien qu'aucune preuve directe n'ait lié la vidéo à une faction politique spécifique.
Contre-mesures technologiques
À la suite de l'incident, les chercheurs et les entreprises technologiques ont accéléré les efforts pour développer des outils de détection des deepfakes. Des organisations comme OpenAI et Google DeepMind travaillaient déjà sur des méthodes de filigrane et d'authentification pour les contenus générés par l'IA, mais le cas pakistanais a souligné l'urgence de ces efforts. Amazon Web Services et d'autres fournisseurs de cloud ont commencé à offrir des services de modération de contenu basés sur l'IA capables de signaler les médias synthétiques, bien que leur efficacité ait varié. Des institutions académiques, y compris Stanford AI Lab et BAIR (Berkeley AI Research), ont publié des articles sur l'amélioration de la robustesse des Neural network contre les attaques adverses, souvent utilisées pour créer des deepfakes.
Malgré ces avancées, la détection reste une course aux armements, car les créateurs de deepfakes affinent continuellement leurs techniques en utilisant des modèles plus récents comme les architectures de Transformer (architecture). L'incident a également conduit à des appels en faveur de cadres réglementaires, certains experts proposant un étiquetage obligatoire des contenus générés par l'IA, similaire à l'approche adoptée par la loi sur l'IA de l'Union européenne. Au Pakistan, le gouvernement a annoncé son intention de mettre à jour ses lois sur la cybercriminalité pour inclure des dispositions sur les médias synthétiques, bien qu'en 2025, ces changements n'aient pas été entièrement mis en œuvre.
Implications plus larges pour la gouvernance de l'IA
Le deepfake d'Imran Khan est devenu un point de référence dans les débats mondiaux sur la gouvernance de l'IA. Il a été discuté lors de conférences telles que le sommet AI for Good et dans des documents politiques de think tanks comme la Brookings Institution. L'incident a illustré la nature à double usage de l'Artificial intelligence, où des outils conçus à des fins créatives peuvent être détournés pour la manipulation politique. Il a également souligné la nécessité d'une collaboration entre les entreprises technologiques, les gouvernements et la société civile pour relever les défis posés par la Generative AI.
Dans les années suivant la publication de la vidéo, des deepfakes similaires sont apparus lors d'élections en Inde, au Brésil et aux États-Unis, mais le cas pakistanais reste notable pour son timing précoce et la clarté de son impact. Des chercheurs de Carnegie Mellon University et d'autres institutions ont utilisé l'incident pour développer des références de détection des deepfakes politiques, contribuant au domaine de la sécurité de l'IA. L'événement a également influencé le développement d'outils comme Reinforcement Learning from AI Feedback (RLAIF) (apprentissage par renforcement à partir de retours d'IA), qui visent à rendre les systèmes d'IA plus alignés sur les valeurs humaines, bien que ces efforts en soient encore à leurs débuts.
Le deepfake d'Imran Khan sert de récit d'avertissement sur l'intersection de la technologie et de la démocratie. Il souligne l'importance de mécanismes de vérification robustes et de la sensibilisation du public à une époque où le Machine learning peut produire des mensonges convaincants. Alors que l'Artificial intelligence continue d'évoluer, les leçons de cet incident informeront probablement les futures politiques et innovations technologiques visant à préserver l'intégrité électorale.