Uma máquina neural de Turing (MNT) é um modelo de rede neural recorrente que emula uma máquina de Turing. Fue introducida por Alex Graves e colegas em 2014. As MNTs combinam as capacidades de correspondência difusa de padrões das redes neurais com o poder algorítmico de computadores programáveis, permitindo-lhes aprender algoritmos simples a partir de exemplos.
A arquitetura consiste em um controlador de rede neural acoplado a recursos de memória externa. O controlador interage com a memória através de mecanismos atencionais, e todo o sistema é diferenciable de ponta a ponta, permitendo a optimização mediante descenso de gradiente. Com um controlador de memória de longo prazo (LSTM), uma MNT pode inferir algoritmos como copia, ordenação e recuperação associativa a partir de exemplos.
Arquitectura e Operação
O controlador da MNT é tipicamente uma rede neural recorrente, como uma LSTM ou uma rede feedforward. Recebe entrada e produz saída, enquanto também gera operações de leitura e escrita em uma matriz de memória externa. A memória é endereçada usando atenção baseada em conteúdo e localização, o que permite à rede focar em locações específicas de memória. A natureza diferenciable destas operações permite o treinamento através de retropropagação.
Contexto Histórico e Impacto
O artigo de 2014 de Graves et al. foi publicado numa época em que a aprendizagem profunda avançava rapidamente. As MNTs estavam entre os primeiros modelos a integrar explicitamente memória externa em redes neurais, influenciando arquiteturas posteriores como o Transformer (architecture) e os modelos de linguagem grandes. O conceito inspirou-se na máquina de Turing e visava preencher a brecha entre redes neurais e computação simbólica.
Implementações e Desafios
Os autores originais não publicaram seu código fonte. A primeira implementação estável de código aberto apareceu em 2018 na 27ª Conferência Internacional sobre Redes Neurais Artificiais, recebendo um prêmio de melhor artigo. Existem outras implementações de código aberto, mas a partir de 2018 não eram suficientemente estábles para uso em produção. Desenvolvedores reportaram problemas como gradientes que se tornan NaN durante o treinamento por razões desconocidas, convergencia lenta, ou falta de velocidade de aprendizagem reportada.
Extensões e Legado
Os computadores neurais diferenciables são uma evolução das MNTs, incorporando mecanismos de atenção mais sofisticados para controlar a atividade de memória e melhorar o desempeño. O conceito de MNT também influenciou a pesquisa em redes neurais e aprendizaje automático de forma mais ampla, particularmente em áreas que requerem modelos com memória aumentada.