Sprachsynthese ist die künstliche Erzeugung menschlicher Sprache. Ein Computersystem, das für diesen Zweck verwendet wird, wird als Sprachsynthesizer bezeichnet und kann in Software- oder Hardwareprodukten implementiert sein. Ein Text-to-Speech-System (TTS) wandelt normalen Sprachtext in Sprache um; andere Systeme wandeln symbolische linguistische Repräsentationen wie phonetische Transkriptionen in Sprache um. Der umgekehrte Prozess ist die Spracherkennung.
Synthetisierte Sprache kann erzeugt werden, indem Stücke aufgezeichneter Sprache, die in einer Datenbank gespeichert sind, aneinandergereiht werden. Systeme unterscheiden sich in der Größe der gespeicherten Spracheinheiten; ein System, das Phone oder Diphone speichert, bietet den größten Ausgabebereich, kann jedoch an Klarheit mangeln. Für spezifische Anwendungsdomänen ermöglicht die Speicherung ganzer Wörter oder Sätze eine hochwertige Ausgabe. Alternativ kann ein Synthesizer ein Modell des Vokaltrakts und anderer menschlicher Stimmmerkmale integrieren, um eine vollständig "synthetische" Stimmausgabe zu erzeugen.
Die Qualität eines Sprachsynthesizers wird anhand seiner Ähnlichkeit mit der menschlichen Stimme und seiner Fähigkeit, klar verstanden zu werden, beurteilt. Ein verständliches Text-to-Speech-Programm ermöglicht es Menschen mit Sehbehinderungen oder Leseschwächen, geschriebene Wörter auf einem Heimcomputer anzuhören. Das früheste Computerbetriebssystem, das einen Sprachsynthesizer enthielt, war Unix im Jahr 1974, über das Unix-sprechen-Dienstprogramm. Im Jahr 2000 war Microsoft Sam der standardmäßige Text-to-Speech-Sprachsynthesizer, der von der Erzähler-Barrierefreiheitsfunktion verwendet wurde, die mit allen Windows-2000-Betriebssystemen und späteren Windows-XP-Systemen ausgeliefert wurde.
Architektur eines Text-to-Speech-Systems
Ein Text-to-Speech-System (oder "Engine") besteht aus zwei Teilen: einem Front-End und einem Back-End. Das Front-End hat zwei Hauptaufgaben. Zuerst wandelt es rohen Text, der Symbole wie Zahlen und Abkürzungen enthält, in das Äquivalent ausgeschriebener Wörter um. Dieser Prozess wird oft als Textnormalisierung, Vorverarbeitung oder Tokenisierung bezeichnet. Das Front-End weist dann jedem Wort phonetische Transkriptionen zu und teilt und markiert den Text in prosodische Einheiten wie Phrasen, Klauseln und Sätze. Der Prozess der Zuweisung phonetischer Transkriptionen zu Wörtern wird als Text-zu-Phonem- oder Graphem-zu-Phonem-Konvertierung bezeichnet. Phonetische Transkriptionen und Prosodieinformationen zusammen bilden die symbolische linguistische Repräsentation, die vom Front-End ausgegeben wird.
Das Back-End, oft als Synthesizer bezeichnet, wandelt dann die symbolische linguistische Repräsentation in Klang um. In bestimmten Systemen umfasst dieser Teil die Berechnung der Zielprosodie (Tonhöhenkontur, Phonemdauern), die dann der Ausgabesprache auferlegt wird. Dieses zweistufige Design ermöglicht eine modulare Entwicklung, bei der die linguistische Analyse unabhängig von der akustischen Erzeugung verbessert werden kann.
Historische Entwicklung
Lange vor der Erfindung der elektronischen Signalverarbeitung versuchten einige Menschen, Maschinen zu bauen, um menschliche Sprache nachzuahmen. Es gab auch Legenden über die Existenz von "Ehernen Häuptern", wie solche, die Papst Silvester II. (gest. 1003 n. Chr.), Albertus Magnus (1198–1280) und Roger Bacon (1214–1294) betreffen.
Im Jahr 1779 gewann der deutsch-dänische Wissenschaftler Christian Gottlieb Kratzenstein den ersten Preis in einem Wettbewerb, der von der Russischen Kaiserlichen Akademie der Wissenschaften und Künste ausgeschrieben wurde, für Modelle des menschlichen Vokaltrakts, die er baute und die die fünf langen Vokale (in Internationaler Phonetischer Alphabet-Notation: [aː], [eː], [iː], [oː] und [uː]) erzeugen konnten. Es folgte die blasebalgbetriebene "akustisch-mechanische Sprechmaschine" von Wolfgang von Kempelen aus Pressburg, Ungarn, die in einem Papier von 1791 beschrieben wurde. Diese Maschine fügte Modelle von Zunge und Lippen hinzu, wodurch sie sowohl Konsonanten als auch Vokale erzeugen konnte. Im Jahr 1837 produzierte Charles Wheatstone eine "Sprechmaschine", die auf von Kempelens Design basierte, und 1846 stellte Joseph Faber die "Euphonia" aus. 1923 erweckte Paget Wheatstones Design wieder zum Leben.
In den 1930er Jahren entwickelten Bell Labs den Vocoder, der Sprache automatisch in ihre Grundtöne und Resonanzen analysierte. Aus seiner Arbeit am Vocoder entwickelte Homer Dudley einen tastaturbedienten Sprachsynthesizer namens The Voder (Voice Demonstrator), den er auf der New Yorker Weltausstellung 1939 ausstellte.
Franklin S. Cooper und seine Kollegen an den Haskins Laboratories bauten den Pattern Playback in den späten 1940er Jahren und vollendeten ihn 1950. Es gab mehrere verschiedene Versionen dieses Hardwaregeräts; nur eine überlebt derzeit. Die Maschine wandelt Bilder der akustischen Muster von Sprache in Form eines Spektrogramms zurück in Klang um. Mit diesem Gerät entdeckten Alvin Liberman und Kollegen akustische Hinweise für die Wahrnehmung phonetischer Segmente (Konsonanten und Vokale).
Elektronische und computergestützte Systeme
Die ersten computergestützten Sprachsynthesesysteme entstanden in den späten 1950er Jahren. Noriko Umeda et al. entwickelten 1968 das erste allgemeine englische Text-to-Speech-System am Electrotechnical Laboratory in Japan. 1961 verwendeten der Physiker John Larry Kelly, Jr. und sein Kollege Louis Gerstman einen IBM-7090-Computer, um Sprache zu synthetisieren, ein Ereignis, das zu den bedeutendsten in der Geschichte von Bell Labs zählt. Kellys Sprachrekorder-Synthesizer (Vocoder) erzeugte das Lied "Daisy Bell" neu, mit musikalischer Begleitung von Max Mathews. Zufällig besuchte Arthur C. Clarke seinen Freund und Kollegen John Pierce in der Bell-Labs-Einrichtung in Murray Hill. Clarke war von der Demonstration so beeindruckt, dass er sie in der Höhepunktszene seines Drehbuchs für seinen Roman 2001: Odyssee im Weltraum verwendete, in der der HAL-9000-Computer dasselbe Lied singt, während Astronaut Dave Bowman ihn in den Schlaf versetzt. Trotz des Erfolgs der rein elektronischen Sprachsynthese wird die Forschung an mechanischen Sprachsynthesizern fortgesetzt.
Lineare prädiktive Codierung (LPC), eine Form der Sprachcodierung, begann mit der Arbeit von Fumitada Itakura von der Universität Nagoya und Shuzo Saito von Nippon Telegraph and Telephone (NTT) im Jahr 1966. Weitere Entwicklungen in der LPC-Technologie wurden in den 1970er Jahren von Bishnu S. Atal und Manfred R. Schroeder bei Bell Labs gemacht. LPC war später die Grundlage für frühe Sprachsynthesizer-Chips, wie die Texas Instruments LPC-Sprachchips, die ab 1978 in den Speak & Spell-Spielzeugen verwendet wurden.
1975 entwickelte Fumitada Itakura die Methode der linearen Spektralpaare (LSP) für hochkomprimierte Sprachcodierung, während er bei NTT war. Von 1975 bis 1981 untersuchte Itakura Probleme in der Sprachanalyse und -synthese basierend auf der LSP-Methode. 1980 entwickelte sein Team einen LSP-basierten Sprachsynthesizer-Chip. LSP ist eine wichtige Technologie für Sprachsynthese und -codierung und wurde in den 1990er Jahren von fast allen internationalen Sprachcodierungsstandards als wesentlicher Bestandteil übernommen, was zur Verbesserung der digitalen Sprachkommunikation über Mobilfunkkanäle und das Internet beitrug.
1975 wurde MUSA veröffentlicht und war eines der ersten Sprachsynthesesysteme. Es bestand aus einer eigenständigen Computerhardware und einer speziellen Software, die es ihm ermöglichte, Italienisch zu lesen. Eine zweite Version, die 1978 veröffentlicht wurde, konnte auch Italienisch in einem "a-cappella"-Stil singen.
Dominierende Systeme in den 1980er und 1990er Jahren waren das DECtalk-System, das weitgehend auf der Arbeit von Dennis Klatt am MIT basierte, und das Bell-Labs-System; letzteres war eines der ersten mehrsprachigen, sprachunabhängigen Systeme, das umfassend Techniken der natürlichen Sprachverarbeitung nutzte.
Moderne Ansätze und Anwendungen
Mit dem Aufkommen von maschinellem Lernen und Deep Learning hat sich die Sprachsynthese hin zu neuronalen Methoden verlagert. Neuronale Netze können die komplexe Abbildung von Text auf Sprache direkt modellieren und erzeugen oft natürlicher klingende Ausgaben als frühere konkatenative oder formantbasierte Systeme. Diese modernen Systeme nutzen oft Transformer-Architekturen, die auch grundlegend für große Sprachmodelle sind, um langreichweitige Abhängigkeiten in Sprache und Prosodie zu erfassen.
Zeitgenössische Text-to-Speech-Engines sind weit verbreitet in Verbrauchergeräten, Navigationssystemen und virtuellen Assistenten. Unternehmen wie Apple, Samsung und Google DeepMind haben fortschrittliche Synthese in ihre Produkte integriert. Die Technologie unterstützt auch Barrierefreiheitsfunktionen in Betriebssystemen und ermöglicht Bildschirmleser für sehbehinderte Benutzer. Ab den 2020er Jahren konzentriert sich die Forschung weiterhin auf die Verbesserung emotionaler Ausdruckskraft, Stimmklonierung und Echtzeitsynthese für interaktive Anwendungen.
Bewertung und Herausforderungen
Die Bewertung von Sprachsynthesizern umfasst sowohl subjektive Hörtests als auch objektive Metriken. Subjektive Tests messen Natürlichkeit und Verständlichkeit, oft unter Verwendung von Mean-Opinion-Scores. Objektive Maße können akustische Merkmale vergleichen oder automatische Spracherkennung verwenden, um die Klarheit zu bewerten. Herausforderungen bleiben beim Umgang mit verschiedenen Sprachen, Dialekten und Sprechstilen sowie bei der Reduzierung der Rechenkosten für die Bereitstellung auf Geräten. Ethische Überlegungen entstehen auch mit dem Potenzial für Stimmspoofing und Missbrauch geklonter Stimmen, was eine laufende Diskussion in der generativen KI-Gemeinschaft anregt.