Le clonage vocal est une application spécialisée de la synthèse vocale dans laquelle un modèle apprend à reproduire les caractéristiques vocales spécifiques d'un individu, telles que le timbre, la hauteur et le style de parole, à partir d'un échantillon de son discours enregistré, puis génère de nouvelles paroles dans cette voix en disant un texte arbitraire. Les premiers systèmes nécessitaient de nombreuses minutes ou heures d'enregistrements propres par locuteur ; au début des années 2020, le clonage à quelques exemples, voire à quelques secondes, est devenu commercialement disponible.
Développement technique
Les systèmes de synthèse vocale traditionnels étaient entraînés sur la voix d'un seul locuteur à partir de zéro, une approche trop gourmande en données pour le clonage à partir d'échantillons courts. Le clonage vocal est devenu pratique lorsque les modèles neuronaux de synthèse vocale ont été conçus pour séparer « ce qui est dit » de « qui parle », généralement en conditionnant un modèle génératif partagé sur un plongement de locuteur compact extrait d'un court clip de référence. Cela a permis à un seul système entraîné de générer de la parole dans le style de n'importe quel locuteur pour lequel un court échantillon était disponible, plutôt que d'exiger un modèle dédié par voix. Les améliorations apportées à la génération audio basée sur les modèles de diffusion et les transformeurs au début des années 2020 ont réduit l'audio de référence requis de plusieurs minutes à quelques secondes, tout en améliorant le naturel et l'expressivité, y compris la préservation de l'émotion et de l'accent.
Applications
Le clonage vocal a des usages légitimes dans le doublage de films et de jeux dans d'autres langues tout en préservant la voix d'un acteur, la restauration de la voix d'une personne ayant perdu la capacité de parler à cause d'une maladie, des outils d'accessibilité personnalisés, et la création de contenu comme des livres audio narrés avec la voix de l'auteur. Des entreprises comme ElevenLabs ont construit des produits commerciaux autour de ces cas d'usage, proposant des marchés de voix et des pipelines de doublage utilisés par des médias et des entreprises de localisation.
Consentement, fraude et mésusage
La même technologie qui permet un doublage légitime permet également l'usurpation d'identité. Des voix clonées ont été utilisées dans des appels frauduleux imitant des proches ou des dirigeants pour soutirer de l'argent, dans des clips audio fabriqués destinés à induire le public en erreur dans des contextes politiques, et dans une utilisation commerciale non autorisée de la voix d'un acteur ou d'une personnalité publique sans permission ni compensation, un problème lié au débat plus large sur l'IA et le droit d'auteur et le droit à l'image. Des incidents très médiatisés, y compris des appels automatisés générés par IA imitant la voix d'un candidat politique lors du cycle électoral américain de 2024, ont accéléré l'attention des régulateurs. Plusieurs juridictions et États ont étendu les lois sur les droits de publicité et la lutte contre la fraude explicitement à la voix synthétique, et certaines entreprises d'IA ont ajouté des étapes de vérification du consentement, des restrictions d'utilisation et un tatouage d'IA à leurs produits de clonage en réponse.
Détection et atténuation
Étant donné que les voix clonées peuvent désormais être difficiles à distinguer des enregistrements authentiques par les humains, les institutions financières et les entreprises traitant l'authentification vocale sensible ont dû reconsidérer la voix comme facteur de sécurité, et la détection audio médico-légale est devenue un domaine actif dans le cadre plus large de l'identification des médias synthétiques aux côtés de la détection des hypertrucages vidéo et image, un sujet relevant du champ plus vaste de l'sécurité de l'IA. Au milieu des années 2020, les outils de détection sont en retard sur la qualité de génération, et le clonage vocal est largement cité comme l'une des applications les plus immédiatement nuisibles de l'IA générative en raison de son faible coût et de son fort pouvoir de persuasion dans les scénarios de fraude.