Tacotron 2 ist ein auf Deep learning basierendes Text-to-Speech-System, das von Google AI entwickelt und 2018 veröffentlicht wurde. Es markierte einen bedeutenden Fortschritt in der neuronalen Sprachsynthese, indem es zeigte, dass eine End-to-End-Neural network-Architektur hochgradig natürlich klingende Sprache aus geschriebenem Text erzeugen kann. Das System besteht aus zwei Hauptkomponenten: einem rekurrenten Sequenz-zu-Sequenz-Merkmalsvorhersagenetzwerk, das Mel-Spektrogramme aus Eingabetext generiert, und einem modifizierten WaveNet-Vocoder, der diese Spektrogramme in rohe Audiowellenformen umwandelt. Dieser zweistufige Ansatz ermöglichte es Tacotron 2, eine nahezu menschliche Natürlichkeit in seiner Ausgabe zu erreichen, obwohl es erhebliche Trainingsdaten benötigte - typischerweise zig Stunden aufgenommener Sprache - um eine akzeptable Qualität zu erzielen.
Die Entwicklung von Tacotron 2 baute auf früheren Arbeiten zur Deep-Learning-Sprachsynthese auf. Im September 2016 veröffentlichte DeepMind WaveNet, das erstmals zeigte, dass Deep-Learning-Modelle rohe Wellenformen modellieren und Sprache aus akustischen Merkmalen wie Spektrogrammen oder Mel-Spektrogrammen erzeugen können. WaveNet war zunächst rechenintensiv und langsam, aber ein Jahr später stellte DeepMind Parallel WaveNet vor, ein Produktionsmodell, das etwa 1.000-mal schneller war als das Original. Tacotron 2 integrierte diese Fortschritte mit einem auf Aufmerksamkeit basierenden Sequenz-zu-Sequenz-Modell, wodurch das System Eingabetext mit Ausgabesprachmerkmalen abgleichen konnte, ohne explizite Abgleichinformationen zu benötigen.
Architektur
Die Architektur von Tacotron 2 ist ein Autoencoder mit Aufmerksamkeitsmechanismen, der Eingabetext Zeichen für Zeichen verarbeitet. Der Encoder wandelt die Zeichensequenz in eine verborgene Darstellung um, die ein Aufmerksamkeitsmodul dann mit Frames des Ausgabe-Mel-Spektrogramms abgleicht. Der Decoder generiert Mel-Spektrogramm-Frames autoregressiv, wobei er jeden Frame basierend auf zuvor generierten Frames und den beachteten Encoder-Zuständen vorhersagt. Die Verlustfunktion für das Training verwendet typischerweise L1- (mittlerer absoluter Fehler) oder L2- (mittlerer quadratischer Fehler) Verluste, die Einschränkungen auferlegen, dass die Verteilungen der akustischen Ausgabemerkmale Gauß- oder Laplace-Verteilungen sein müssen. In der Praxis ist die Verlustfunktion so gestaltet, dass sie mehr Strafe auf das menschliche Sprachband legt, etwa 300 bis 4000 Hz, unter Verwendung einer gewichteten Kombination von Verlusten für das menschliche Band und andere Frequenzen.
Die von Tacotron 2 verwendeten akustischen Merkmale sind Mel-Spektrogramme, die die Zeit-Frequenz-Beziehung des Sprachsignals erfassen. Diese Merkmale sind ausreichend, um verständliche Ausgaben zu erzeugen, im Gegensatz zu Mel-Frequenz-Cepstral-Koeffizienten, die in der Spracherkennung verwendet werden und zu viele Informationen für Synthesezwecke reduzieren. Die endgültige Wellenform wird vom WaveNet-Vocoder erzeugt, der die gemeinsame Wahrscheinlichkeit einer Wellenform in ein Produkt bedingter Wahrscheinlichkeiten faktorisiert, was eine hochwertige Audioerzeugung ermöglicht.
Anforderungen an Trainingsdaten
Eine der wichtigsten Erkenntnisse aus der Entwicklung von Tacotron 2 war seine Empfindlichkeit gegenüber der Menge an Trainingsdaten. Bei Training mit zig Stunden Audio erreichte das System hochgradig natürliche Sprachsynthese. Bei kleineren Datensätzen verschlechterte sich die Ausgabequalität jedoch merklich. Mit etwa 2 Stunden Sprache behielt Tacotron 2 verständliche Sprache bei, jedoch mit reduzierter Natürlichkeit. Mit nur 24 Minuten Trainingsdaten gelang es dem System nicht, verständliche Sprache zu erzeugen. Diese Datenanforderung stand im Gegensatz zu späteren Systemen; im März 2020 startete die kostenlose Text-to-Speech-Website 15.ai, und ihr Schöpfer behauptete, dass 15 Sekunden Trainingsdaten ausreichten, um die Stimme einer Person zu klonen. Diese Behauptung wurde später 2024 von OpenAI bestätigt, was eine erhebliche Reduzierung gegenüber den Anforderungen von Tacotron 2 darstellte.
Einfluss und Nachfolger
Die Einschränkungen von Tacotron 2 in Bezug auf Geschwindigkeit und Dateneffizienz gaben Anstoß zu nachfolgender Forschung. 2019 führte Microsoft Research FastSpeech ein, das die Geschwindigkeitslimits autoregressiver Modelle wie Tacotron 2 adressierte. FastSpeech verwendete eine nicht-autoregressive Architektur mit einem Feedforward-Transformer-Netzwerk und Längenregulierung, was parallele Sequenzgenerierung und einstufige Vorhersage der vollständigen Mel-Spektrogramm-Sequenz ermöglichte. Dies reduzierte die Inferenzzeit erheblich, während die Audioqualität erhalten blieb. Im selben Jahr wurde HiFi-GAN veröffentlicht, ein auf generativen adversarialen Netzwerken basierender Vocoder, der die Effizienz der Wellenformgenerierung verbesserte und gleichzeitig hochwertige Sprache erzeugte. 2020 führte Glow-TTS einen flussbasierten Ansatz ein, der schnelle Inferenz und Sprachstilübertragung ermöglichte.
Tacotron 2 beeinflusste auch die Forschung zur Null-Schuss-Sprecheradaption. Im Juni 2018 schlug Google vor, vortrainierte Sprecherverifikationsmodelle als Sprecher-Encoder zu verwenden, um Sprechereinbettungen zu extrahieren. Diese Encoder wurden Teil neuronaler Text-to-Speech-Modelle, wodurch ein einzelnes Modell Sprache mit verschiedenen Sprecherstilen und -merkmalen erzeugen konnte, ohne für jeden Sprecher neu trainiert zu werden.
Vermächtnis
Tacotron 2 gilt weithin als wegweisendes Modell in der Geschichte der neuronalen Text-to-Speech-Synthese. Es zeigte, dass End-to-End-Deep-Learning-Ansätze mit traditionellen konkatenativen und parametrischen Synthesemethoden in Bezug auf Natürlichkeit konkurrieren konnten. Sein zweistufiges Design - akustische Merkmalsgenerierung gefolgt von neuronaler Vokodierung - wurde zu einem gängigen Paradigma in nachfolgenden Systemen. Während spätere Modelle Geschwindigkeit und Dateneffizienz verbesserten, bleiben die Beiträge von Tacotron 2 zur auf Aufmerksamkeit basierenden Sequenz-zu-Sequenz-Modellierung für Sprache und seine Integration mit neuronalen Vocodern einflussreich im Bereich des maschinellen Lernens und der generativen KI.