A clonagem de voz é uma aplicação especializada de síntese de fala na qual um modelo aprende a reproduzir as características vocais de um indivíduo específico, como timbre, tom e estilo de fala, a partir de uma amostra de sua fala gravada, e então gera novas falas naquela voz para textos arbitrários. Os primeiros sistemas exigiam muitos minutos ou horas de gravações limpas por locutor; no início da década de 2020, a clonagem com poucos exemplos e até mesmo com poucos segundos tornou-se comercialmente disponível.
Desenvolvimento técnico
Os sistemas tradicionais de TTS eram treinados do zero na voz de um único locutor, uma abordagem que exigia dados demais para a clonagem a partir de amostras curtas. A clonagem de voz tornou-se prática quando modelos neurais de TTS foram construídos para separar "o que é dito" de "quem está falando", geralmente condicionando um modelo generativo compartilhado a um vetor de incorporação compacto do locutor, extraído de um clipe de referência curto. Isso permitiu que um único sistema treinado gerasse fala no estilo de qualquer locutor para o qual uma amostra curta estivesse disponível, em vez de exigir um modelo dedicado para cada voz. Os avanços na geração de áudio baseada em modelos de difusão e em transformadores ao longo do início da década de 2020 reduziram o áudio de referência necessário de minutos para segundos, ao mesmo tempo em que melhoraram a naturalidade e a expressividade, incluindo emoção e sotaque preservados.
Aplicações
A clonagem de voz tem usos legítimos na dublagem de filmes e jogos para outros idiomas, preservando a voz de um ator; na restauração da voz de alguém que perdeu a capacidade de falar devido a doença; em ferramentas de acessibilidade personalizadas; e na criação de conteúdo, como audiolivros narrados na própria voz do autor. Empresas como a ElevenLabs construíram produtos comerciais em torno desses usos, oferecendo mercados de vozes e pipelines de dublagem usados por empresas de mídia e localização.
Consentimento, fraude e uso indevido
A mesma tecnologia que possibilita a dublagem legítima também possibilita a personificação. Vozes clonadas têm sido usadas em golpes por telefone, personificando parentes ou executivos para solicitar dinheiro; em clipes de áudio fabricados com a intenção de enganar o público em contextos políticos; e no uso não autorizado da voz de um ator ou figura pública sem permissão ou compensação, uma questão ligada ao debate mais amplo sobre direitos autorais de IA e semelhança pessoal. Incidentes de alto perfil, incluindo robocalls gerados por IA personificando a voz de um candidato político durante o ciclo eleitoral dos Estados Unidos de 2024, aceleraram a atenção regulatória. Várias jurisdições e estados moveram-se para estender as leis de direitos de publicidade e antifraude explicitamente à voz sintética, e algumas empresas de IA adicionaram etapas de verificação de consentimento, restrições de uso e marca d'água de IA aos seus produtos de clonagem em resposta.
Detecção e mitigação
Como as vozes clonadas agora podem ser difíceis de distinguir de gravações genuínas para os seres humanos, instituições financeiras e empresas que lidam com autenticação sensível por voz tiveram de reconsiderar a voz como fator de segurança, e a detecção forense de áudio tornou-se uma área ativa dentro do esforço mais amplo para identificar mídia sintética, juntamente com a detecção de deepfakes de vídeo e imagem, um tópico dentro do campo mais amplo da segurança de IA. Em meados da década de 2020, as ferramentas de detecção ficavam aquém da qualidade da geração, e a clonagem de voz é amplamente citada como uma das aplicações de IA generativa imediatamente mais prejudiciais, devido ao seu baixo custo e alto poder de persuasão em cenários de fraude.