WaveNet ist ein tiefes neuronales Netzwerk zur Erzeugung von Rohaudio. Es wurde von Forschern der in London ansässigen KI-Firma DeepMind entwickelt. Die Technik, die in einem Paper im September 2016 beschrieben wurde, ist in der Lage, relativ realistisch klingende, menschenähnliche Stimmen zu erzeugen, indem sie Wellenformen direkt mit einer neuronalen Netzwerkmethode modelliert, die mit Aufnahmen echter Sprache trainiert wurde. Tests mit amerikanischem Englisch und Mandarin zeigten Berichten zufolge, dass das System Googles damals beste Text-to-Speech-Systeme (TTS) übertrifft, obwohl seine Sprachsynthese 2016 immer noch weniger überzeugend war als echte menschliche Sprache. WaveNets Fähigkeit, rohe Wellenformen zu erzeugen, bedeutet, dass es jede Art von Audio modellieren kann, einschließlich Musik.
Geschichte
Das Erzeugen von Sprache aus Text ist dank der Beliebtheit von Software wie Apples Siri, Microsofts Cortana, Amazon Alexa und dem Google Assistant eine zunehmend verbreitete Aufgabe. Die meisten dieser Systeme verwenden eine Variante einer Technik, bei der Tonfragmente zusammengefügt werden, um erkennbare Laute und Wörter zu bilden. Die gebräuchlichste davon wird als konkatenative TTS bezeichnet. Sie besteht aus einer großen Bibliothek von Sprachfragmenten, die von einem einzelnen Sprecher aufgenommen und dann zu vollständigen Wörtern und Lauten zusammengesetzt werden. Das Ergebnis klingt unnatürlich, mit einem seltsamen Rhythmus und Tonfall. Die Abhängigkeit von einer aufgenommenen Bibliothek macht es auch schwierig, die Stimme zu modifizieren oder zu verändern.
Eine andere Technik, die als parametrische TTS bekannt ist, verwendet mathematische Modelle, um Laute zu rekonstruieren, die dann zu Wörtern und Sätzen zusammengesetzt werden. Die zur Erzeugung der Laute benötigten Informationen sind in den Parametern des Modells gespeichert. Die Eigenschaften der Ausgabesprache werden über die Eingaben des Modells gesteuert, während die Sprache typischerweise mit einem Sprachsynthesizer, dem sogenannten Vocoder, erzeugt wird. Dies kann ebenfalls zu unnatürlich klingendem Audio führen.
Design und laufende Forschung
Hintergrund
WaveNet ist eine Art von vorwärtsgekoppeltem neuronalen Netzwerk, das als tiefes faltendes neuronales Netzwerk (CNN) bekannt ist. Bei WaveNet nimmt das CNN ein Rohsignal als Eingabe und synthetisiert eine Ausgabe Stück für Stück. Dies geschieht durch Abtasten aus einer Softmax- (d. h. kategorialen) Verteilung eines Signalwerts, der mit einer μ-law-Kompandierungstransformation kodiert und auf 256 mögliche Werte quantisiert wird. Dieser Ansatz basiert auf Prinzipien des Deep Learning, bei denen das Netzwerk hierarchische Darstellungen der Eingabedaten lernt.
Erstes Konzept und Ergebnisse
Gemäß dem ursprünglichen DeepMind-Forschungspapier vom September 2016, WaveNet: A Generative Model for Raw Audio, wurde das Netzwerk mit echten Wellenformen von Sprache auf Englisch und Mandarin gefüttert. Während diese das Netzwerk durchlaufen, lernt es eine Reihe von Regeln, um zu beschreiben, wie sich die Audio-Wellenform im Laufe der Zeit entwickelt. Das trainierte Netzwerk kann dann verwendet werden, um neue sprachähnliche Wellenformen mit 16.000 Abtastwerten pro Sekunde zu erzeugen. Diese Wellenformen enthalten realistische Atemzüge und Lippengeräusche – entsprechen aber keiner Sprache.
WaveNet ist in der Lage, verschiedene Stimmen genau zu modellieren, wobei Akzent und Tonfall der Eingabe mit der Ausgabe korrelieren. Wenn es beispielsweise mit Deutsch trainiert wird, erzeugt es deutsche Sprache. Diese Fähigkeit bedeutet auch, dass, wenn WaveNet mit anderen Eingaben – wie Musik – gefüttert wird, seine Ausgabe musikalisch sein wird. Zum Zeitpunkt seiner Veröffentlichung zeigte DeepMind, dass WaveNet Wellenformen erzeugen konnte, die wie klassische Musik klingen. Diese Vielseitigkeit unterstreicht sein Potenzial über traditionelle maschinelle Lernanwendungen in der Sprache hinaus.
Inhalts- (Stimmen-) Tausch
Laut dem Paper Disentangled Sequential Autoencoder vom Juni 2018 hat DeepMind WaveNet erfolgreich für Audio- und Sprach-"Inhaltstausch" eingesetzt: Das Netzwerk kann die Stimme auf einer Audioaufnahme durch eine andere, bereits vorhandene Stimme ersetzen, während Text und andere Merkmale der Originalaufnahme erhalten bleiben. "Wir experimentieren auch mit Audio-Sequenzdaten. Unsere entwirrte Darstellung ermöglicht es uns, Sprecheridentitäten ineinander umzuwandeln, während wir auf den Inhalt der Sprache konditionieren." (S. 5) "Für Audio ermöglicht uns dies, einen männlichen Sprecher in eine weibliche Sprecherin umzuwandeln und umgekehrt [...]." (S. 1) Laut dem Paper sind mindestens zwei Stunden (ca. 50 Stunden) bereits vorhandener Sprachaufnahmen sowohl der Quell- als auch der Zielstimme erforderlich, die in WaveNet eingespeist werden müssen, damit das Programm ihre individuellen Merkmale lernt, bevor es die Umwandlung von einer Stimme in eine andere in zufriedenstellender Qualität durchführen kann. Die Autoren betonen, dass "[e]in Vorteil des Modells darin besteht, dass es dynamische von statischen Merkmalen trennt [...]." (S. 8), d. h. WaveNet ist in der Lage, zwischen dem gesprochenen Text und den Vortragsweisen (Modulation, Geschwindigkeit, Tonhöhe, Stimmung usw.), die bei der Umwandlung von einer Stimme in eine andere beibehalten werden sollen, einerseits und den grundlegenden Merkmalen sowohl der Quell- als auch der Zielstimme, die es austauschen soll, andererseits zu unterscheiden.
Das Folgepaper Unsupervised speech representation learning using WaveNet autoencoders vom Januar 2019 beschreibt eine Methode, um die korrekte automatische Erkennung und Unterscheidung zwischen dynamischen und statischen Merkmalen für den "Inhaltstausch", insbesondere das Austauschen von Stimmen auf vorhandenen Audioaufnahmen, erfolgreich zu verbessern, um es zuverlässiger zu machen. Ein weiteres Folgepaper, Sample Efficient Adaptive Text-to-Speech, datiert auf September 2018 (letzte Überarbeitung Januar 2019), stellt fest, dass DeepMind die Mindestmenge an realen Aufnahmen, die zum Abtasten einer vorhandenen Stimme über WaveNet erforderlich sind, erfolgreich auf "nur wenige Minuten Audiodaten" reduziert hat, während die Ergebnisse von hoher Qualität bleiben.
Seine Fähigkeit, Stimmen zu klonen, hat ethische Bedenken hinsichtlich WaveNets Fähigkeit aufgeworfen, die Stimmen lebender und verstorbener Personen nachzuahmen. Laut einem BBC-Artikel aus dem Jahr 2016 beabsichtigen Unternehmen, die an ähnlichen Stimmklon-Technologien arbeiten (wie Adobe Voco), für Menschen unhörbare Wasserzeichen einzufügen, um Fälschungen zu verhindern, während sie gleichzeitig betonen, dass Stimmklonen, das beispielsweise den Anforderungen der Unterhaltungsindustrie dient, von weitaus geringerer Komplexität wäre und andere Methoden verwenden würde als die, die erforderlich sind, um forensische Beweismethoden und elektronische Identifikationsgeräte zu täuschen, sodass natürliche Stimmen und für Unterhaltungszwecke geklonte Stimmen durch technologische Analyse immer noch leicht unterschieden werden könnten.
Anwendungen
Zum Zeitpunkt seiner Veröffentlichung sagte DeepMind, dass WaveNet zu viel Rechenleistung benötige, um in realen Anwendungen eingesetzt zu werden. Ab Oktober 2017 kündigte Google eine 1.000-fache Leistungsverbesserung sowie eine bessere Sprachqualität an. WaveNet wurde dann verwendet, um Google-Assistant-Stimmen für amerikanisches Englisch und Japanisch auf allen Google-Plattformen zu erzeugen. Im November 2017 veröffentlichten DeepMind-Forscher ein Forschungspapier, das eine vorgeschlagene Methode zur "Erzeugung hochwertiger Sprachproben mit mehr als 20-mal schnellerer als Echtzeit" beschreibt, die als "Probability Density Distillation" bezeichnet wird. Auf der jährlichen I/O-Entwicklerkonferenz im Mai 2018 wurde angekündigt, dass neue Google-Assistant-Stimmen verfügbar seien und durch WaveNet ermöglicht würden; WaveNet reduzierte die Anzahl der Audioaufnahmen, die zur Erstellung eines Stimmmodells erforderlich waren, erheblich, indem es das Rohaudio der Stimmproben des Synchronsprechers modellierte. Dieser Fortschritt positionierte WaveNet als eine Schlüsselinnovation im Bereich generativer KI für Audio und beeinflusste nachfolgende Arbeiten zur Synthese auf Basis neuronaler Netzwerke.