Uma rede de crenças profundas convolucional (CDBN) é um tipo de modelo de aprendizado profundo que integra a extração hierárquica de características das redes neurais convolucionais com o aprendizado generativo probabilístico das redes de crenças profundas. Ela é projetada para o aprendizado não supervisionado de características de alto nível a partir de dados bidimensionais, como imagens, espectrogramas de áudio e quadros de vídeo. O modelo foi introduzido no final dos anos 2000 como uma extensão das máquinas de Boltzmann restritas para lidar eficientemente com entradas estruturadas em larga escala.
As CDBNs consistem em múltiplas camadas de máquinas de Boltzmann restritas convolucionais (convRBMs), onde cada camada aprende características cada vez mais abstratas. Diferentemente das redes de crenças profundas totalmente conectadas, as CDBNs usam campos receptivos locais e pesos compartilhados, reduzindo drasticamente o número de parâmetros e permitindo escalabilidade para entradas de alta resolução. O modelo é treinado camada por camada usando divergência contrastiva, seguida de ajuste fino opcional com sinais supervisionados.
Arquitetura
O bloco de construção central de uma CDBN é a máquina de Boltzmann restrita convolucional. Em uma convRBM, a camada visível representa a imagem de entrada, e a camada oculta consiste em mapas de características. Cada mapa de características é conectado à camada visível por meio de um conjunto de pesos de filtro compartilhados, também conhecidos como kernels. A camada de pooling, tipicamente max-pooling, reduz a dimensionalidade espacial das ativações ocultas, proporcionando invariância à translação e eficiência computacional.
Uma CDBN empilha múltiplas convRBMs, com a saída agrupada de uma camada servindo como entrada visível para a próxima. Essa estrutura hierárquica permite que a rede aprenda bordas e texturas de baixo nível nas camadas iniciais e objetos ou partes de nível superior nas camadas posteriores. A natureza probabilística do modelo permite que ele gere novas amostras a partir da distribuição aprendida, uma propriedade não compartilhada pelas redes convolucionais discriminativas padrão.
Treinamento
O treinamento de uma CDBN prossegue de forma gulosa, camada por camada. Cada convRBM é treinada separadamente usando divergência contrastiva, uma técnica que aproxima a estimativa de máxima verossimilhança. A regra de aprendizado atualiza os pesos de filtro compartilhados e os vieses com base na diferença entre as estatísticas dependentes dos dados e as estatísticas dependentes do modelo. Após todas as camadas serem pré-treinadas, toda a rede pode ser ajustada usando retropropagação com dados rotulados para tarefas de classificação.
Um desafio no treinamento de CDBNs é o custo computacional da inferência no modelo gráfico probabilístico, especialmente para imagens grandes. Para lidar com isso, pesquisadores usaram aproximações como inferência de campo médio e amostragem de Gibbs em blocos. Além disso, o uso de mini-lotes pequenos e momentum na descida do gradiente estocástico ajuda a estabilizar o treinamento.
Aplicações
As CDBNs foram aplicadas a várias tarefas de visão computacional, incluindo reconhecimento de objetos, detecção de faces e classificação de cenas. Elas também foram usadas para aprendizado não supervisionado de características em domínios como processamento de áudio e imagens médicas. No início dos anos 2010, as CDBNs alcançaram resultados competitivos em conjuntos de dados de referência como CIFAR-10 e NORB, demonstrando sua eficácia em aprender representações úteis sem dados rotulados extensivos.
Mais recentemente, os princípios das CDBNs influenciaram outros modelos generativos, como autoencoders variacionais e redes adversárias generativas, embora as próprias CDBNs sejam menos comumente usadas hoje devido ao avanço do aprendizado profundo de ponta a ponta com treinamento supervisionado em larga escala.
Relação com Outros Modelos
As CDBNs compartilham semelhanças conceituais com outras arquiteturas profundas. Elas são uma contraparte probabilística das redes neurais convolucionais padrão, que são puramente discriminativas. Diferentemente dos modelos baseados em transformers, como os grandes modelos de linguagem, as CDBNs são projetadas para dados espaciais e não dependem de mecanismos de atenção. A capacidade generativa das CDBNs também as distingue das típicas redes residuais e U-Nets, que são feedforward e específicas para tarefas.
No contexto mais amplo do aprendizado de máquina, as CDBNs representam uma tentativa inicial de combinar pré-treinamento não supervisionado com arquiteturas convolucionais, um tema que posteriormente influenciou a pesquisa em aprendizado profundo em instituições como a Universidade de Toronto e o MIT CSAIL.
Limitações e Legado
Apesar de seu apelo teórico, as CDBNs enfrentam limitações práticas. O treinamento é computacionalmente intensivo, e a inferência probabilística pode ser lenta. Os ganhos de desempenho sobre redes convolucionais puramente supervisionadas eram frequentemente modestos, especialmente à medida que grandes conjuntos de dados rotulados e treinamento acelerado por GPU se tornaram disponíveis. Como resultado, as CDBNs foram amplamente superadas por modelos mais simples e escaláveis.
No entanto, as ideias por trás das CDBNs - aprendizado hierárquico de características, conectividade local e modelagem generativa - permanecem influentes. Elas fazem parte da fundação histórica do aprendizado profundo moderno, ao lado de outros modelos iniciais como redes neurais e redes de crenças profundas. Pesquisadores continuam revisitando abordagens generativas para aprendizado semissupervisionado e aprendizado de representações, mantendo o legado da CDBN relevante.