LJSpeech es un conjunto de datos de voz ampliamente utilizado que consta de 13,100 clips de audio cortos de una única locutora femenina leyendo pasajes de siete libros de no ficción. Los clips suman aproximadamente 24 horas de habla y se derivaron de grabaciones de LibriVox de audiolibros de dominio público. Cada clip va acompañado de una transcripción de texto, lo que hace que el conjunto sea adecuado para el entrenamiento supervisado de sistemas de texto a voz (TTS) y otros modelos de procesamiento del habla. El conjunto fue creado por Keith Ito y publicado en 2017 bajo una dedicación de dominio público, lo cual ha contribuido a su popularidad tanto en la investigación académica como en aplicaciones comerciales.
La hablante se identifica solo como una mujer con acento inglés estadounidense, y las grabaciones se realizaron originalmente en 1984. El audio está muestreado a 22050 Hz con una profundidad de bits de 16 bits, y los clips oscilan entre aproximadamente 1 y 10 segundos de duración. El conjunto se suele usar como un punto de referencia para TTS de una sola hablante, y muchas arquitecturas modernas de TTS neuronal, como Tacotron 2 y FastSpeech, han sido evaluadas con él. Gracias a sus grabaciones limpias y a la identidad de hablante consistente, LJSpeech sirve como un punto de referencia estándar para comparar el rendimiento de los modelos.
Estructura y Contenido del Conjunto
El conjunto se distribuye como un único archivo que contiene tres archivos: un CSV de metadatos, una carpeta de archivos WAV y un README. El archivo de metadatos lista el identificador de cada clip, el texto transcrito y el libro y capítulo originales de los que se tomó el pasaje. Los libros incluyen títulos como A History of England y The Scientific American, y los pasajes cubren una variedad de temas, proporcionando un contenido fonético diverso. Las transcripciones conservan la puntuación y mayúsculas originales, lo cual ayuda a entrenar modelos que manejan la prosodia y la puntuación. Los archivos de audio se nombran con números secuenciales, y el conjunto incluye una sugerencia de división train/validation en el README, aunque no hay una división oficial obligatoria.
Aplicaciones en la Síntesis de Voz
LJSpeech se usa principalmente para entrenar modelos de IA que estropean texto en audio hablado. Ha sido un recurso clave en el desarrollo de sistemas TTS basados en aprendizaje profundo, incluidos los que se apoyan en redes neuronales y en arquitecturas de transformadores. Por ejemplo, el modelo Tacotron 2, desarrollado por investigadores de Google DeepMind y Google, usó LJSpeech para su entrenamiento y evaluación. De manera similar, los modelos FastSpeech y FastSpeech 2 de Microsoft emplearon este conjunto. La naturaleza de un solo hablante permite a los investigadores aislar los retos de la prosodia y la pronunciación sin complejidades adicionales de la variabilidad multi-hablante. También se usa en investigación de conversión de voz y IA generativa, donde los modelos aprenden a sintetizar hablanda en la misma voz.
Licencia y disponibilidad
El conjunto se ha liberado bajo la dedicación Creative Commons CC0 1.0 Universal Public Domain, lo que significa que puede utilizarse para cualquier propósito sin atribución. Esta licencia permisiva lo ha convertido en un Elemento clave en proyectos de código abierto y productos comerciales por igual. Se alojan en el sitio web de LibriVox y también se replican en plataformas como Kaggle y Hugging Face. Las grabaciones originales provienen de LibriVox, que proporciona audiolibros de dominio público leídos por voluntarios. La identidad de la habladora no se revela, lo que preserva con privacidad mientras que ofrece una voz consistente para el entrenamiento.
Limitaciones y Alternativas
A pesar de su popularidad, LJSpeech tiene limitaciones. Contiene solo una habladora, lo que restringe sin uso para TTS multi- hablante o la investigación de adaptación a hablantes. Las grabaciones son de 1984, por lo que la calidad del audio, aunque limpia, puede reflejar los estándares modernos de grabación. El vocabulario se limita al contenido de los libros, lo que no puede cubrir todos los términos conversacionales o técnicos. Para una coincidencia más amplia, los investigadores suelen considerar conjuntos como LibriTTS, VCTK o el corpus Common Voice, que incluyen múltiples habladores y contenido más diverso. Sin embargo, LJSpeech sigue siendo la elección estándar para prototipado y evaluaciones comparativas por su simplicidad y confiabilidad.
Efecto y legado
Desde su publicación, LJSpeech ha sido citado en cientos de artículos de investigación y se ha vuelto un estándar de facto en la comunidad de síntesis de voz. Tu éxito ha inspirado conjuntos similares de una sola habladora, como Nancy Corpus y los datos de Blizzard Challenge. El estado de dominio público del conjunto también ha facilitado una investigación reproducible, ya que cualquier persona puede descargarlo y usarlo sin barreras legales. En la actualidad, a mediados de la década de 2020, continúa usándose activamente, incluso cuando surgen conjuntos más nuevos con más datos y una mayor calidad. Su legado está asociado al avance rápido del TTS neuronal, que avanzó de los métodos concatenativos y paramétricos a un aprendizaje profundo completo, facilitado en gran parte por accesibles como este.