Classificação temporal conexionista (CTC, do inglês connectionist temporal classification) é uma função de perda e uma representação de saída usada para treinar redes neurais em tarefas de rotulagem de sequências em que a entrada e a saída não estão alinhadas no tempo. Foi introduzida em 2006 e é independente da estrutura subjacente da rede neural, o que significa que pode ser aplicada a diversas arquiteturas. A CTC é comumente usada em tarefas como reconhecimento de escrita manual on-line e reconhecimento de fala, em que a sequência de entrada (por exemplo, quadros de áudio ou traços de caneta) é muito mais longa do que a sequência de rótulos de saída (por exemplo, fonemas ou caracteres).
O principal desafio que a CTC aborda é o alinhamento desconhecido entre as observações de entrada e os rótulos alvo. Por exemplo, em áudio de fala, múltiplos intervalos de tempo podem corresponder a um único fonema, e os limites exatos não são conhecidos durante o treinamento. A CTC resolve isso prevendo uma distribuição de probabilidade sobre os rótulos em cada etapa de tempo, incluindo uma saída em branco especial. Ela não tenta aprender limites ou tempos; em vez disso, sequências de rótulos são consideradas equivalentes se diferirem apenas no alinhamento, ignorando os espaços em branco. Essa equivalência leva a muitos alinhamentos possíveis para uma determinada sequência de rótulos, tornando a pontuação não trivial, mas existe um algoritmo eficiente de avanço-retrocesso para calcular a probabilidade total.
Treinamento e Pontuação
As pontuações da CTC são calculadas como a soma das probabilidades sobre todos os alinhamentos possíveis que mapeiam para uma sequência de rótulos alvo. Essa pontuação é diferenciável, permitindo que seja usada com o algoritmo de retropropagação para atualizar os pesos da rede neural. A rede normalmente tem uma saída contínua, como uma camada softmax, que é ajustada por meio do treinamento para modelar a probabilidade de cada rótulo em cada etapa de tempo. O algoritmo de avanço-retrocesso, análogo ao usado em modelos ocultos de Markov (HMMs), permite o cálculo eficiente da perda e de seus gradientes. Abordagens alternativas a uma rede neural ajustada por CTC incluem o uso de um HMM, que modela explicitamente transições de estado e durações.
Aplicações e Marcos
A CTC foi aplicada com sucesso em vários sistemas notáveis. Em 2009, uma rede de memória de longo prazo (LSTM) treinada com CTC foi a primeira rede neural recorrente (RNN) a vencer competições de reconhecimento de padrões, alcançando vitórias em várias competições de reconhecimento de escrita manual conectada. Em 2014, a empresa chinesa Baidu usou uma RNN bidirecional (não uma LSTM) treinada com a função de perda CTC para quebrar o benchmark do conjunto de dados de reconhecimento de fala Switchboard Hub5'00 2S09 sem usar nenhum método tradicional de processamento de fala. Em 2015, a CTC foi usada na pesquisa por voz do Google e na ditado em dispositivos Android, demonstrando sua utilidade prática em produtos de consumo.
Limitações e Extensões
A CTC é limitada a alinhamento monotônico, o que significa que a ordem dos rótulos de saída deve corresponder à ordem das observações de entrada. Isso não é um problema para reconhecimento de voz, em que fonemas e palavras ocorrem em uma ordem fixa. No entanto, pode ser problemático para tradução de idiomas, pois palavras posteriores em um idioma podem corresponder a palavras anteriores em outro devido a diferentes ordenações de palavras. Essa limitação motivou o desenvolvimento de modelos alternativos de sequência a sequência, como aqueles baseados em mecanismos de atenção, que podem lidar com alinhamentos não monotônicos. Apesar disso, a CTC permanece uma técnica fundamental em rotulagem de sequências e é frequentemente usada em sistemas híbridos ou como um componente em arquiteturas mais complexas.
Relação com Outras Técnicas
A CTC está intimamente relacionada a outras abordagens de modelagem de sequências. Ela é frequentemente comparada a modelos ocultos de Markov (HMMs), que também lidam com alinhamento de sequências, mas usam um quadro probabilístico diferente. Em aprendizado profundo, a CTC é frequentemente usada com redes neurais recorrentes, particularmente LSTMs e RNNs bidirecionais, mas também pode ser aplicada a outras arquiteturas, como transformadores. A função de perda é um tipo de função de perda usada em aprendizado supervisionado, e é frequentemente combinada com técnicas como busca em feixe para decodificação durante a inferência. O foco da CTC no treinamento sem alinhamento influenciou desenvolvimentos posteriores em aprendizado de sequência a sequência, embora permaneça distinta dos métodos baseados em atenção.