Text-to-Speech, kurz TTS, wandelt geschriebenen Text in gesprochene Audiodateien um. Es ist das Gegenstück zur speech-recognition innerhalb von conversational-ai-Systemen und wird seit Jahrzehnten in Hilfsmitteln, Telefonsystemen und Navigationsgeräten eingesetzt, bevor es in den 2020er-Jahren zu einer gängigen generativen KI-Anwendung wurde.
Geschichte
Frühe TTS-Systeme basierten auf konkatenativer Synthese, bei der kleine, vorab aufgenommene Sprachsegmente aneinandergereiht wurden, oder auf Formantsynthese, die Sprache anhand von Regeln zur Beschreibung der Vokaltraktakustik erzeugte. Beide Ansätze führten zu deutlich maschinell klingender Ausgabe. Ein großer Wandel kam mit der Anwendung von deep-learning auf die Audioerzeugung: Das 2016 veröffentlichte WaveNet von DeepMind erzeugte rohe Audiowellenformen Sample für Sample mithilfe einer convolutional Architektur und produzierte deutlich natürlichere Sprache als frühere Methoden, allerdings mit hohem Rechenaufwand. Nachfolgesysteme wie Tacotron und spätere transformer-basierte Modelle beschleunigten die Erzeugung, während sie die natürliche Qualität beibehielten. Bis Anfang der 2020er-Jahre wurde neuronale TTS zum Standard in der Branche.
Moderne Systeme
Zeitgenössische TTS-Modelle trennen die Aufgabe typischerweise in zwei Schritte: Zuerst wird aus dem Text eine intermediäre akustische Repräsentation vorhergesagt, die dann mit einem Vocoder in eine Wellenform umgewandelt wird. Neuere End-to-End-Systeme fassen diese Schritte zunehmend in einem einzigen Modell zusammen, das oft auf diffusion-model- oder autoregressiven transformer-Architekturen basiert. Unternehmen wie elevenlabs popularisierten ausdrucksstarke, latenzarme TTS-Systeme, die sich an Content-Ersteller, Hörbuch-Sprecher und Synchronisationsanbieter richten und eine Steuerung von Emotion, Sprechtempo und Akzent ermöglichen. TTS ist außerdem ein Kernbestandteil von Sprachassistenten, Echtzeit-Übersetzungstools und Barrierefreiheitssoftware für sehbehinderte Nutzer und liegt Funktionen zur KI-generierten Audioproduktion zugrunde, wie sie etwa notebooklm mit seinen Podcast-Zusammenfassungen bietet.
Stimmklonierung und Qualität
Der bedeutendste jüngste Fortschritt ist das Few-Shot-voice-cloning, bei dem ein Modell die Stimme einer bestimmten Person anhand einer kurzen Referenzaufnahme nachahmen kann, anstatt eine generische synthetische Stimme zu verwenden. Da synthetische Stimmen inzwischen kaum noch von menschlichen zu unterscheiden sind, hat sich die Bewertung von TTS-Systemen von einfachen Verständlichkeitstests hin zu Wahrnehmungsmetriken für Natürlichkeit und zunehmend auch zur Frage verschoben, ob synthetisches Audio überhaupt als solches erkennbar ist – ein Anliegen, das es mit der breiteren deepfake-Forschung teilt.
Anwendungen und Bedenken
TTS wird in Hörbüchern, Kundendienst-Telefonsystemen, Videospielen, Videosprachausgabe und assistiven Technologien eingesetzt und ist zu einem Baustein größerer multimodal-ai-Systeme geworden, die sowohl hören als auch sprechen können. Die rasche Verbesserung der Technologie hat jedoch auch Bedenken aufgeworfen: betrügerische Anrufe mit geklonten Stimmen, die Verwendung von Stimmen in politischen Desinformationskampagnen und die Verdrängung von Synchronsprechern. Als Reaktion darauf setzen einige Unternehmen auf ai-watermarking oder Herkunftsnachweise für synthetisches Audio, und einige Rechtsordnungen regulieren inzwischen die Nutzung einer Stimme ohne Einwilligung.