La clonación de voz es una aplicación especializada de texto a voz en la que un modelo aprende a reproducir las características vocales específicas de un individuo, como el timbre, el tono y el estilo de habla, a partir de una muestra de su discurso grabado, y luego genera nuevo habla en esa voz diciendo texto arbitrario. Los primeros sistemas requerían muchos minutos u horas de grabaciones limpias por hablante; a principios de la década de 2020, la clonación con pocas muestras e incluso con unos pocos segundos se volvió comercialmente disponible.
Desarrollo técnico
Los sistemas tradicionales de texto a voz se entrenaban desde cero con la voz de un solo hablante, un enfoque demasiado dependiente de datos para la clonación a partir de muestras cortas. La clonación de voz se volvió práctica cuando los modelos neuronales de texto a voz se diseñaron para separar "lo que se dice" de "quién habla", generalmente condicionando un modelo generativo compartido con un embedding compacto del hablante extraído de un clip de referencia corto. Esto permitió que un solo sistema entrenado generara habla en el estilo de cualquier hablante para el que se dispusiera de una muestra breve, en lugar de requerir un modelo dedicado por voz. Las mejoras en la generación de audio basada en modelos de difusión y transformers a lo largo de principios de la década de 2020 redujeron el audio de referencia requerido de minutos a segundos, mientras mejoraban la naturalidad y expresividad, incluida la preservación de emociones y acentos.
Aplicaciones
La clonación de voz tiene usos legítimos en el doblaje de películas y juegos a otros idiomas preservando la voz de un actor, la restauración de la voz de alguien que ha perdido la capacidad de hablar debido a una enfermedad, herramientas personalizadas de accesibilidad y creación de contenido, como audiolibros narrados con la propia voz del autor. Empresas como ElevenLabs construyeron productos comerciales en torno a estos casos de uso, ofreciendo mercados de voces y canalizaciones de doblaje utilizadas por empresas de medios y localización.
Consentimiento, fraude y uso indebido
La misma tecnología que permite el doblaje legítimo también permite la suplantación de identidad. Las voces clonadas se han utilizado en llamadas fraudulentas que suplantan a familiares o ejecutivos para solicitar dinero, en clips de audio fabricados destinados a engañar al público en contextos políticos y en el uso comercial no autorizado de la voz de un actor de doblaje o figura pública sin permiso o compensación, un problema vinculado al debate más amplio sobre derechos de autor de IA y la imagen personal. Incidentes de alto perfil, incluidas llamadas robóticas generadas por IA que suplantaban la voz de un candidato político durante el ciclo electoral de 2024 en Estados Unidos, aceleraron la atención regulatoria. Varias jurisdicciones y estados movieron a extender explícitamente las leyes de derechos de publicidad y anti-fraude a la voz sintética, y algunas empresas de IA añadieron pasos de verificación de consentimiento, restricciones de uso y marcas de agua de IA a sus productos de clonación en respuesta.
Detección y mitigación
Debido a que las voces clonadas ahora pueden ser difíciles de distinguir para los humanos de las grabaciones genuinas, las instituciones financieras y las empresas que manejan autenticación de voz sensible han tenido que reconsiderar la voz como factor de seguridad, y la detección forense de audio se ha convertido en un área activa dentro del esfuerzo más amplio para identificar medios sintéticos junto con la detección de deepfakes de video e imagen, un tema dentro del campo más amplio de seguridad de IA. A mediados de la década de 2020, las herramientas de detección van por detrás de la calidad de generación, y la clonación de voz se cita ampliamente como una de las aplicaciones más inmediatamente dañinas de la IA generativa debido a su bajo costo y alto poder persuasivo en escenarios de fraude.