DenseNet (Rede Convolucional Densamente Conectada) é um tipo de rede neural artificial utilizado principalmente para reconhecimento de imagens e tarefas de visão computacional. Foi proposta por Gao Huang, Zhuang Liu, Laurens van der Maaten e Kilian Q. Weinberger em um artigo de 2017 intitulado "Densely Connected Convolutional Networks". A arquitetura é caracterizada pela conectividade densa: dentro de um bloco denso, cada camada recebe os mapas de características de todas as camadas anteriores como entradas e passa sua própria saída para todas as camadas subsequentes. Esse design contrasta com as redes convolucionais tradicionais, onde as camadas são conectadas sequencialmente, e com as redes residuais (ResNets), que usam conexões de salto para adicionar a entrada de um bloco à sua saída.
A ideia central do DenseNet é maximizar o fluxo de informações entre as camadas, o que ajuda a aliviar o problema do gradiente desaparecendo em redes profundas. Ao concatenar mapas de características em vez de somá-los, o DenseNet promove a reutilização de características, reduz o número de parâmetros e incentiva um forte fluxo de gradiente durante o treinamento. A arquitetura foi amplamente adotada em tarefas como classificação de imagens, segmentação e detecção de objetos, e influenciou designs de redes subsequentes.
Arquitetura
Um DenseNet é composto por vários blocos densos, cada um contendo um número de camadas. Dentro de um bloco denso, cada camada realiza normalização em lote, uma ativação de unidade linear retificada (ReLU) e uma convolução 3x3. A saída de cada camada é concatenada com as entradas de todas as camadas anteriores no bloco, criando um padrão de conectividade densa. Se um bloco tem \(L\) camadas, o número total de conexões é \(L(L+1)/2\).
Entre blocos densos, camadas de transição são usadas para reduzir as dimensões espaciais e o número de mapas de características. Uma camada de transição consiste em normalização em lote, uma convolução 1x1 e uma operação de pooling médio 2x2. O fator de compressão, frequentemente definido como 0,5, controla quantos mapas de características são retidos após a transição.
Uma taxa de crescimento \(k\) determina quantos novos mapas de características cada camada produz. Por exemplo, com \(k=32\), cada camada adiciona 32 mapas de características à entrada coletiva. Esse parâmetro equilibra a capacidade do modelo e o custo computacional. Variantes comuns do DenseNet incluem DenseNet-121, DenseNet-169, DenseNet-201 e DenseNet-264, onde o número indica a contagem total de camadas.
Matemática
Em um bloco denso, seja \(x_0\) a entrada do bloco. Para a camada \(\ell\), a entrada é a concatenação das saídas de todas as camadas anteriores: \([x_0, x_1, \dots, x_{\ell-1}]\). A camada calcula uma função composta \(H_\ell\) (que inclui normalização em lote, ReLU e convolução) e produz \(x_\ell = H_\ell([x_0, x_1, \dots, x_{\ell-1}])\). Essa operação de concatenação é a diferença chave em relação às conexões residuais, que usam adição.
A conectividade densa garante que cada camada tenha acesso direto aos gradientes da função de perda, mitigando o problema do gradiente desaparecendo. Os autores mostraram que a arquitetura tem um efeito regularizador, reduzindo o sobreajuste em conjuntos de dados pequenos.
Treinamento e Otimização
Os DenseNets são treinados usando técnicas padrão de aprendizado profundo, como descida de gradiente estocástica com momentum ou Adam. As redes frequentemente empregam aumento de dados (por exemplo, recorte aleatório, inversão e variação de cor) para melhorar a generalização. A normalização em lote é aplicada antes de cada ativação, o que estabiliza o treinamento e permite taxas de aprendizado mais altas.
No ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2017, o DenseNet alcançou resultados de ponta, com uma taxa de erro top-5 de 5,11% para o DenseNet-201, superando arquiteturas anteriores como a ResNet. O modelo também demonstrou eficiência de parâmetros, exigindo menos parâmetros do que ResNets comparáveis para alcançar precisão semelhante.
Aplicações e Impacto
O DenseNet foi aplicado em vários domínios além da classificação de imagens, incluindo segmentação de imagens médicas, sensoriamento remoto e análise de vídeo. Seus princípios de design inspiraram outras arquiteturas, como a rede de caminho duplo (DPN) e a rede densa multiescala. O conceito de conectividade densa também foi explorado em modelos transformer, embora a abordagem dominante lá permaneça sendo as conexões residuais.
A arquitetura está disponível em frameworks populares de aprendizado profundo, como PyTorch e TensorFlow, e é frequentemente usada como backbone em modelos de detecção de objetos e segmentação. Seu sucesso contribuiu para a tendência mais ampla de projetar redes convolucionais cada vez mais profundas e eficientes, juntamente com ResNet e U-Net.
Limitações e Extensões
Apesar de seus pontos fortes, o DenseNet pode ser intensivo em memória devido à concatenação de mapas de características, o que aumenta os requisitos de armazenamento intermediário. Pesquisadores propuseram variantes para lidar com isso, como o DenseNet-BC (gargalo e compressão) e redes convolucionais esparsas de subvariedade para dados 3D. A arquitetura também tende a ser mais lenta na inferência em comparação com alguns designs mais recentes, como o EfficientNet.
No geral, o DenseNet permanece uma arquitetura fundamental em visão computacional, demonstrando os benefícios da conectividade densa para reutilização de características e fluxo de gradiente. Suas ideias continuam a influenciar o design de redes modernas, especialmente em cenários onde a eficiência de parâmetros e a precisão são críticas.