WaveNet é uma rede neural profunda para gerar áudio bruto. Foi criada por pesquisadores da empresa londrina de IA DeepMind. A técnica, descrita em um artigo de setembro de 2016, é capaz de gerar vozes humanas com som relativamente realista ao modelar diretamente as formas de onda usando uma rede neural treinada com gravações de fala real. Testes com inglês e mandarim mostraram que o sistema supera os melhores sistemas de texto-para-fala (TTS) do Google, embora, em 2016, sua síntese de fala ainda fosse menos convincente que a fala humana real. A capacidade do WaveNet de gerar formas de onda brutas significa que ele pode modelar qualquer tipo de áudio, incluindo música.
Histórico
Gerar fala a partir de texto é uma tarefa cada vez mais comum graças à popularidade de softwares como Siri, da Apple, Cortana, da Microsoft, Alexa, da Amazon, e o Google Assistant. A maioria desses sistemas usa uma variação de uma técnica que envolve a concatenação de fragmentos de som para formar sons e palavras reconhecíveis. A mais comum dessas é chamada de TTS concatenativo. Ela consiste em uma grande biblioteca de fragmentos de fala, gravados de um único locutor, que são então concatenados para produzir palavras e sons completos. O resultado soa não natural, com uma cadência e tom estranhos. A dependência de uma biblioteca gravada também dificulta a modificação ou alteração da voz.
Outra técnica, conhecida como TTS paramétrico, usa modelos matemáticos para recriar sons que são então montados em palavras e frases. As informações necessárias para gerar os sons são armazenadas nos parâmetros do modelo. As características da saída são controladas pelas entradas do modelo, enquanto a fala é tipicamente criada usando um sintetizador de voz conhecido como vocoder. Isso também pode resultar em áudio com som não natural.
Design e pesquisa em andamento
Antecedentes
WaveNet é um tipo de rede neural feedforward conhecida como rede neural convolucional profunda (CNN). No WaveNet, a CNN recebe um sinal bruto como entrada e sintetiza uma saída uma amostra por vez. Isso é feito amostrando-se a partir de uma distribuição softmax (ou seja, categórica) de um valor de sinal que é codificado usando compressão por lei μ e quantizado em 256 valores possíveis. Essa abordagem é baseada em princípios de aprendizado profundo, onde a rede aprende representações hierárquicas dos dados de entrada.
Conceito e resultados iniciais
De acordo com o artigo original de setembro de 2016 da DeepMind, "WaveNet: A Generative Model for Raw Audio", a rede foi alimentada com formas de onda reais de fala em inglês e mandarim. Conforme essas formas de onda passam pela rede, ela aprende um conjunto de regras para descrever como a forma de onda de áudio evolui ao longo do tempo. A rede treinada pode então ser usada para criar novas formas de onda semelhantes à fala, a 16.000 amostras por segundo. Essas formas de onda incluem respirações e estalos de lábios realistas – mas não se conformam a nenhuma língua.
O WaveNet é capaz de modelar com precisão diferentes vozes, com o sotaque e o tom da entrada correlacionando-se com a saída. Por exemplo, se for treinado com alemão, produz fala em alemão. A capacidade também significa que, se o WaveNet for alimentado com outras entradas – como música – sua saída será musical. Na época de seu lançamento, a DeepMind mostrou que o WaveNet poderia produzir formas de onda que soam como música clássica. Essa versatilidade destaca seu potencial além das aplicações tradicionais de aprendizado de máquina em fala.
Troca de conteúdo (voz)
De acordo com o artigo de junho de 2018, "Disentangled Sequential Autoencoder", a DeepMind usou com sucesso o WaveNet para "troca de conteúdo" de áudio e voz: a rede pode trocar a voz em uma gravação de áudio por outra voz pré-existente, mantendo o texto e outras características da gravação original. "Também experimentamos com dados de sequência de áudio. Nossa representação desembaraçada nos permite converter identidades de locutores entre si, condicionando ao conteúdo da fala." (p. 5) "Para áudio, isso nos permite converter um locutor masculino em um locutor feminino e vice-versa [...]." (p. 1) De acordo com o artigo, uma quantidade mínima de duas horas (c. 50 horas) de gravações de fala pré-existentes de ambas as vozes, fonte e alvo, é necessária para alimentar o WaveNet, para que o programa aprenda suas características individuais antes de ser capaz de realizar a conversão de uma voz para outra com uma qualidade satisfatória. Os autores enfatizam que "[u]ma vantagem do modelo é que ele separa características dinâmicas das estáticas [...]." (p. 8), ou seja, o WaveNet é capaz de distinguir entre o texto falado e os modos de entrega (modulação, velocidade, tom, humor, etc.) para manter durante a conversão de uma voz para outra, por um lado, e as características básicas de ambas as vozes, fonte e alvo, que são necessárias para a troca, por outro.
Artigo de acompanhamento de janeiro de 2019
O artigo de acompanhamento de janeiro de 2019, "Unsupervised speech representation learning using WaveNet autoencoders", detalha um método para melhorar o reconhecimento e a discriminação automáticos e corretos entre características dinâmicas e estáticas para a "troca de conteúdo", incluindo notavelmente a troca de vozes em gravações de áudio existentes, para torná-la mais confiável. Outro artigo de acompanhamento, "Sample Efficient Adaptive Text-to-Speech", datado de setembro de 2018 (revisão mais recente em janeiro de 2019), afirma que a DeepMind reduziu com sucesso a quantidade mínima de gravações da vida real necessárias para amostrar uma voz existente com o WaveNet para "apenas alguns minutos de dados de áudio", mantendo resultados de alta qualidade.
Habilidades de clonagem de voz
A capacidade de clonar vozes levantou preocupações éticas sobre a capacidade do WaveNet de imitar as vozes de pessoas vivas e mortas. De acordo com um artigo da BBC de 2016, empresas que trabalham com tecnologias semelhantes de clonagem de voz (como a Adobe Voco) pretendem inserir marcas d'água inaudíveis para humanos, a fim de prevenir a falsificação, mantendo ao mesmo tempo que a clonagem de voz, por exemplo, para fins da indústria do entretenimento, seria de complexidade muito menor e usaria métodos diferentes dos necessários para enganar métodos forenses de evidência e dispositivos eletrônicos de identificação, de modo que vozes naturais e vozes clonadas para fins da indústria do entretenimento ainda pudessem ser facilmente distinguidas por análise tecnológica.
Aplicações
Na época de seu lançamento, a DeepMind afirmou que o WaveNet exigia poder computacional demais para ser usado em aplicações do mundo real. Em outubro de 2017, o Google anunciou uma melhoria de desempenho de 1.000 vezes, juntamente com melhor qualidade de voz. O WaveNet foi então usado para gerar vozes do Google Assistant para inglês dos EUA e japonês em todas as plataformas do Google. Em novembro de 2017, pesquisadores da DeepMind publicaram um artigo detalhando um método proposto para "gerar amostras de fala de alta fidelidade mais de 20 vezes mais rápido que o tempo real", chamado "Probability Density Distillation". Na conferência anual I/O em maio de 2018, foi anunciado que novas vozes do Google Assistant estavam disponíveis e foram possibilitadas pelo WaveNet; o WaveNet reduziu bastante o número de gravações de áudio necessárias para criar um modelo de voz, modelando o áudio bruto das amostras do locutor. Esse avanço posicionou o WaveNet como uma inovação chave para IA generativa em áudio, influenciando trabalhos subsequentes em síntese baseada em redes neurais.