LJSpeech ist ein weit verbreiteter Sprachdatensatz, der aus 13.100 kurzen Audio-Clips besteht, in denen eine einzelne Sprecherin Passagen aus sieben Sachbüchern vorliest. Die Clips umfassen insgesamt etwa 24 Stunden Sprachmaterial und wurden aus gemeinfreien Hörbüchern von LibriVox abgeleitet. Jeder Clip ist mit einem Texttranskript versehen, was den Datensatz für das überwachte Training von Text-to-Speech-Systemen (TTS) und anderen Sprachverarbeitungsmodellen geeignet macht. Der Datensatz wurde von Keith Ito erstellt und 2017 unter einer Gemeinfreiheitserklärung veröffentlicht, was zu seiner Beliebtheit sowohl in der akademischen Forschung als auch in kommerziellen Anwendungen beigetragen hat.
Die Sprecherin wird nur als weiblich mit amerikanischem Englisch-Akzent identifiziert; die Aufnahmen stammen ursprünglich aus dem Jahr 1984. Das Audio ist mit einer Abtastrate von 22050 Hz und einer Bittiefe von 16 Bit codiert, wobei die einzelnen Clips zwischen etwa einer und zehn Sekunden dauern. LJSpeech wird häufig als Benchmark für einsprachige TTS-Systeme verwendet, und viele moderne neuronale TTS-Architekturen wie Tacotron 2 und FastSpeech wurden anhand dieses Datensatzes evaluiert. Aufgrund der sauberen Aufnahmen und der konsistenten Sprecheridentität dient LJSpeech als Standardreferenz für den Vergleich der Leistungsfähigkeit verschiedener Modelle.
Der Datensatz wird als ein einziges Archiv verteilt, das drei Dateien enthält: eine Metadaten-CSV-Datei, einen Ordner mit WAV-Audiodateien und eine README-Datei. Die Metadaten-Datei listet für jeden Clip die ID, den transkribierten Text sowie das ursprüngliche Buch und Kapitel auf, aus dem der Ausschnitt stammt. Die Bücher umfassen Titel wie A History of England und The Scientific American, und die Passagen decken eine Vielzahl von Themen ab, was eine vielfältige phonetische Abdeckung bietet. Die Transkripte bewahren die ursprüngliche Zeichensetzung und Großschreibung, was für das Training von Modellen hilfreich ist, die Prosodie und Interpunktion berücksichtigen sollen. Die Audiodateien sind fortlaufend nummeriert, und der Datensatz enthält einen Vorschlag für eine Trainings-/Validierungsaufteilung, obwohl keine offizielle Aufteilung erzwungen wird.
LJSpeech wird hauptsächlich für das Training von KI-Modellen verwendet, die Text in gesprochene Sprache umwandeln. Es ist eine wichtige Ressource für die Entwicklung von TTS-Systemen auf Basis von neuronalen Netzen und Transformer-Architekturen. Beispielsweise wurde das Tacotron-2-Modell, das von Forschern bei Google DeepMind und Google entwickelt wurde, mit LJSpeech trainiert und evaluiert. Auch die FastSpeech-Modelle von Microsoft nutzten diesen Datensatz. Die Ein-Sprecher-Natur des Datensatzes ermöglicht es Forschern, sich auf die Herausforderungen von Prosodie und Aussprache zu konzentrieren, ohne die zusätzliche Komplexität mehrerer Sprecher berücksichtigen zu müssen. Darüber hinaus wird LJSpeech in der Forschung zur Stimmkonvertierung und im Bereich der generativen KI eingesetzt, wo Modelle lernen, Sprache in derselben Stimme zu erzeugen.
Der Datensatz ist unter der Creative-Commons-Lizenz CC0 1.0 Universal Public Domain Dedication veröffentlicht, was bedeutet, dass er ohne Einschränkungen für beliebige Zwecke genutzt werden kann, ohne dass eine Namensnennung erforderlich ist. Diese freizügige Lizenz hat dazu beigetragen, dass LJSpeech zu einem festen Bestandteil von Open-Source-Sprachprojekten und kommerziellen Produkten geworden ist. Die Audiodaten stammen ursprünglich von LibriVox, einer Plattform, die gemeinfreie Hörbücher von Freiwilligen vorlesen lässt. Die Identität der Sprecherin wird nicht preisgegeben, was den Datenschutz wahrt, während gleichzeitig eine konsistente Stimme für das Training bereitgestellt wird.
Trotz seiner Beliebtheit hat LJSpeech auch Einschränkungen. Der Datensatz enthält nur eine einzige Sprecherin, was seine Verwendung für mehrsprachige TTS-Systeme oder die Anpassung an andere Sprecher einschränkt. Die Aufnahmen stammen aus dem Jahr 1984, sodass die Audioqualität, obwohl sauber, möglicherweise nicht den modernen Aufnahmestandards entspricht. Darüber hinaus ist der Wortschatz auf den Inhalt der Bücher beschränkt, was möglicherweise nicht alle alltäglichen oder technischen Begriffe abdeckt. Für eine breitere Abdeckung greifen Forscher häufig auf Datensätze wie LibriTTS, VCTK oder das Common-Voice-Korpus zurück, die mehrere Sprecher und vielfältigere Inhalte umfassen. Dennoch bleibt LJSpeech aufgrund seiner Einfachheit und Zuverlässigkeit die erste Wahl für Prototyping und Benchmarking im Bereich der Sprachsynthese.
Seit seiner Veröffentlichung wurde LJSpeech in Hunderten von Forschungspapieren zitiert und hat sich zu einem De-facto-Standard in der Sprachsynthese-Community entwickelt. Sein Erfolg hat ähnliche Ein-Sprecher-Datensätze wie das Nancy-Korpus und die Blizzard-Challenge-Daten inspiriert. Der Gemeinfreiheitsstatus des Datensatzes hat auch reproduzierbare Forschung ermöglicht, da jeder den Datensatz ohne rechtliche Hürden herunterladen und verwenden kann. Bis Mitte der 2020er-Jahre wird er weiterhin aktiv genutzt, auch wenn neuere Datensätze mit mehr Daten und höherer Qualität entstehen. Sein Vermächtnis ist eng mit dem rasanten Fortschritt neuronaler TTS-Systeme verbunden, die von konkatenativen und parametrischen Methoden zu End-to-End-Ansätzen übergegangen sind – ein Übergang, der maßgeblich durch zugängliche Datensätze wie LJSpeech ermöglicht wurde.