A busca de arquitetura neural (NAS, do inglês Neural Architecture Search) é uma técnica para automatizar o design de redes neurais artificiais (RNA), um modelo amplamente utilizado no campo do aprendizado de máquina. A NAS tem sido usada para projetar redes que são equivalentes ou superiores a arquiteturas projetadas manualmente. Os métodos para NAS podem ser categorizados de acordo com o espaço de busca, a estratégia de busca e a estratégia de estimativa de desempenho utilizados. O espaço de busca define o(s) tipo(s) de RNA que podem ser projetados e otimizados; a estratégia de busca define a abordagem usada para explorar o espaço de busca; e a estratégia de estimativa de desempenho avalia o desempenho de uma possível RNA a partir de seu design, sem construí-la e treiná-la. A NAS está intimamente relacionada à otimização de hiperparâmetros e à meta-aprendizagem e é um subcampo do aprendizado de máquina automatizado (AutoML).
Aprendizado por Reforço
O aprendizado por reforço (RL, do inglês Reinforcement Learning) pode fundamentar uma estratégia de busca da NAS. Barret Zoph e Quoc Viet Le aplicaram NAS com RL direcionado ao conjunto de dados CIFAR-10 e alcançaram uma arquitetura de rede que rivaliza com a melhor arquitetura projetada manualmente em precisão, com uma taxa de erro de 3,65, 0,09 por cento melhor e 1,05x mais rápida que um modelo relacionado projetado manualmente. No conjunto de dados Penn Treebank, esse modelo compôs uma célula recorrente que supera a LSTM, alcançando uma perplexidade no conjunto de teste de 62,4, ou 3,6 de perplexidade melhor que o sistema líder anterior. Na tarefa de modelagem de linguagem de caracteres do PTB, alcançou bits por caractere de 1,214.
Aprender uma arquitetura de modelo diretamente em um grande conjunto de dados pode ser um processo demorado. O NASNet abordou essa questão transferindo um bloco de construção projetado para um pequeno conjunto de dados para um conjunto de dados maior. O design foi restrito ao uso de dois tipos de células convolucionais para retornar mapas de características que servem a duas funções principais ao convoluir um mapa de características de entrada: células normais que retornam mapas da mesma extensão (altura e largura) e células de redução nas quais a altura e a largura do mapa de características retornado são reduzidas por um fator de dois. Para a célula de redução, a operação inicial aplicada às entradas da célula usa um passo de dois para reduzir a altura e a largura. O aspecto aprendido do design incluiu elementos como qual(is) camada(s) inferior(es) cada camada superior tomou como entrada, as transformações aplicadas nessa camada e como mesclar múltiplas saídas em cada camada. No exemplo estudado, a melhor camada convolucional (ou "célula") foi projetada para o conjunto de dados CIFAR-10 e depois aplicada ao conjunto de dados ImageNet empilhando cópias dessa célula, cada uma com seus próprios parâmetros. A abordagem produziu precisão de 82,7% top-1 e 96,2% top-5. Isso superou as melhores arquiteturas inventadas por humanos a um custo de 9 bilhões a menos de FLOPS, uma redução de 28%. O sistema continuou a superar a alternativa projetada manualmente em vários níveis de computação. As características de imagem aprendidas com a classificação de imagens podem ser transferidas para outros problemas de visão computacional. Para detecção de objetos, as células aprendidas integradas à estrutura Faster-RCNN melhoraram o desempenho em 4,0% no conjunto de dados COCO.
Na chamada Busca de Arquitetura Neural Eficiente (ENAS, do inglês Efficient Neural Architecture Search), um controlador descobre arquiteturas aprendendo a buscar um subgrafo ótimo dentro de um grafo grande. O controlador é treinado com gradiente de política para selecionar um subgrafo que maximize a recompensa esperada do conjunto de validação. O modelo correspondente ao subgrafo é treinado para minimizar uma perda canônica de entropia cruzada. Múltiplos modelos filhos compartilham parâmetros, portanto, a ENAS requer menos horas de GPU do que outras abordagens e 1000 vezes menos do que a NAS "padrão". No CIFAR-10, o design da ENAS alcançou um erro de teste de 2,89%, comparável ao NASNet. No Penn Treebank, o design da ENAS alcançou perplexidade de teste de 55,8.
Evolução
Uma abordagem alternativa para NAS é baseada em algoritmos evolutivos, que foi empregada por vários grupos. Um Algoritmo Evolutivo para Busca de Arquitetura Neural geralmente executa o seguinte procedimento. Primeiro, um pool consistindo de diferentes arquiteturas candidatas, juntamente com suas pontuações de validação (aptidão), é inicializado. A cada passo, as arquiteturas no pool de candidatos são mutadas (por exemplo, convolução 3x3 em vez de convolução 5x5). Em seguida, as novas arquiteturas são treinadas do zero por algumas épocas e suas pontuações de validação são obtidas. Isso é seguido pela substituição das arquiteturas com pontuações mais baixas no pool de candidatos pelas arquiteturas novas e melhores. Este procedimento é repetido várias vezes e, assim, o pool de candidatos é refinado ao longo do tempo. Mutações no contexto da evolução de RNAs são operações como adicionar ou remover uma camada, que incluem mudar o tipo de uma camada (por exemplo, de convolução para pooling), mudar os hiperparâmetros de uma camada ou mudar os hiperparâmetros de treinamento. No CIFAR-10 e no ImageNet, a evolução e o RL tiveram desempenho comparável, enquanto ambos superaram ligeiramente a busca aleatória.
Otimização Bayesiana
A Otimização Bayesiana (BO, do inglês Bayesian Optimization), que provou ser um método eficiente para otimização de hiperparâmetros, também pode ser aplicada à NAS. Nesse contexto, a função objetivo mapeia uma arquitetura para seu erro de validação após ser treinada por um número de épocas. A cada iteração, a BO usa um substituto para modelar essa função objetivo com base em arquiteturas obtidas anteriormente e seus erros de validação. Em seguida, escolhe-se a próxima arquitetura a ser avaliada maximizando uma função de aquisição, como a melhoria esperada, que fornece um equilíbrio entre exploração e exploração. A maximização da função de aquisição e a avaliação da função objetivo são frequentemente computacionalmente caras para NAS e tornam a aplicação da BO desafiadora nesse contexto. Recentemente, o BANANAS alcançou resultados promissores nessa direção ao introduzir uma instância de alto desempenho da BO acoplada a um preditor neural.
Subida de Colina
Outro grupo usou um procedimento de subida de colina que aplica morfismos de rede, seguidos por execuções curtas de otimização com cosseno annealing. A abordagem produziu resultados competitivos, exigindo recursos na mesma ordem de grandeza que o treinamento de uma única rede. Por exemplo, no CIFAR-10, o método projetou e treinou uma rede com uma taxa de erro abaixo de 5% em 12 horas em uma única GPU.
Busca Multiobjetivo
Embora a maioria das abordagens se concentre apenas em encontrar arquiteturas com desempenho preditivo máximo, para a maioria das aplicações práticas outros objetivos são relevantes, como consumo de memória, tamanho do modelo ou tempo de inferência (ou seja, o tempo necessário para obter uma previsão). Por causa disso, os pesquisadores criaram uma busca multiobjetivo. O LEMONADE é um algoritmo evolutivo que adotou o lamarckismo para otimizar eficientemente múltiplos objetivos. Em cada geração, redes filhas são geradas para melhorar a fronteira de Pareto em relação à população atual de RNAs. O Neural Architect é considerado uma NAS multiobjetivo baseada em RL, ciente de recursos, com incorporação de rede e previsão de desempenho. A incorporação de rede codifica uma rede existente em um vetor de incorporação treinável, que pode ser usado para prever o desempenho e guiar a busca em direção a arquiteturas que equilibram precisão e restrições de recursos.
Desafios e Direções Futuras
A NAS continua computacionalmente intensiva, apesar de avanços como ENAS e compartilhamento de pesos. O design do espaço de busca influencia fortemente os resultados, e avaliar arquiteturas frequentemente requer computação significativa. Trabalhos recentes exploraram NAS diferenciável, onde a busca é relaxada em um problema de otimização contínua, e métodos baseados em preditores que aprendem a estimar o desempenho sem treinamento completo. Em meados da década de 2020, a NAS continua a evoluir, com aplicações em modelos de aprendizado profundo, incluindo arquiteturas baseadas em transformadores, e integração com pipelines de aprendizado de máquina automatizado. Pesquisadores em instituições como Google DeepMind, OpenAI e Stanford AI Lab contribuíram para o avanço dos métodos de NAS, embora muitas implantações práticas ainda dependam de redes projetadas manualmente devido ao custo e à complexidade.
Relação com Outros Campos
A NAS está intimamente ligada à otimização de hiperparâmetros e à meta-aprendizagem, pois busca automatizar parte do processo de design de modelos. Ela também se cruza com a teoria de redes neurais e a prática de aprendizado de máquina. As técnicas usadas na NAS, como aprendizado por reforço e algoritmos evolutivos, são extraídas da pesquisa mais ampla em inteligência artificial. As estratégias de estimativa de desempenho frequentemente aproveitam técnicas de inicialização de pesos e normalização em lote para reduzir o tempo de treinamento durante a busca. O objetivo final da NAS é reduzir o esforço humano necessário para projetar arquiteturas eficazes de redes neurais, potencialmente permitindo que não especialistas criem modelos de alto desempenho para tarefas específicas.
Conclusão
A busca de arquitetura neural representa um passo significativo em direção à automação do design de redes neurais. Ao alavancar aprendizado por reforço, algoritmos evolutivos, otimização bayesiana e outras estratégias, a NAS pode descobrir arquiteturas que rivalizam ou excedem as projetadas por humanos. No entanto, o custo computacional e a complexidade do espaço de busca permanecem desafios-chave. À medida que os métodos melhoram, é provável que a NAS desempenhe um papel cada vez mais importante no desenvolvimento de modelos eficientes e poderosos de aprendizado profundo em vários domínios.