Uma rede de crenças profundas (DBN) é um modelo gráfico generativo, ou alternativamente uma classe de redes neurais profundas, composta por múltiplas camadas de variáveis latentes ("unidades ocultas"), com conexões entre camadas, mas não entre unidades dentro de cada camada. Quando treinada sem supervisão em um conjunto de exemplos, uma DBN pode aprender a reconstruir probabilisticamente suas entradas, com as camadas atuando como detectores de características. Após esta etapa de aprendizado, uma DBN pode ser posteriormente treinada com supervisão para realizar classificação.
As DBNs podem ser vistas como uma composição de redes simples e não supervisionadas, como máquinas de Boltzmann restritas (RBMs) ou autoencoders, onde a camada oculta de cada sub-rede serve como a camada visível para a próxima. Uma RBM é um modelo generativo baseado em energia, não direcionado, com uma camada de entrada visível e uma camada oculta, com conexões entre camadas, mas não dentro delas. Essa composição leva a um procedimento de treinamento não supervisionado rápido, camada por camada, onde a divergência contrastiva é aplicada a cada sub-rede em sequência, começando pelo par mais baixo de camadas (a camada visível mais baixa é um conjunto de treinamento).
A observação de que as DBNs podem ser treinadas de forma gulosa, uma camada por vez, levou a um dos primeiros algoritmos eficazes de aprendizado profundo. No geral, existem muitas implementações e usos atraentes de DBNs em aplicações e cenários da vida real, como eletroencefalografia e descoberta de medicamentos.
Contexto Histórico
As redes de crenças profundas surgiram em meados dos anos 2000 como um avanço no treinamento de arquiteturas profundas. Antes de sua introdução, treinar redes neurais multicamadas era notoriamente difícil devido a problemas como gradientes vanishing e convergência lenta. A estratégia de pré-treinamento guloso camada por camada introduzida com as DBNs forneceu uma maneira prática de inicializar redes profundas, que poderiam então ser ajustadas para tarefas supervisionadas. Este trabalho, principalmente associado a Geoffrey Hinton e colegas da Universidade de Toronto, revitalizou o interesse em Deep learning e estabeleceu as bases para avanços posteriores em arquiteturas de Neural network.
O desenvolvimento das DBNs é frequentemente citado como um marco importante na história da Artificial intelligence, unindo trabalhos anteriores sobre modelos probabilísticos e Machine learning com o aprendizado profundo moderno. O sucesso das DBNs em tarefas como reconhecimento de dígitos manuscritos e classificação de documentos demonstrou o poder do aprendizado hierárquico de características, influenciando modelos subsequentes, como autoencoders profundos e redes convolucionais.
Treinamento com Divergência Contrastiva
O método de treinamento para RBMs proposto por Geoffrey Hinton para uso no treinamento de modelos "Produto de Especialistas" é chamado de divergência contrastiva (CD). A CD fornece uma aproximação ao método de máxima verossimilhança que seria idealmente aplicado para aprender os pesos. No treinamento de uma única RBM, as atualizações de peso são realizadas com gradiente descendente usando a equação:
w_ij(t+1) = w_ij(t) + η * ∂log(p(v))/∂w_ij
onde p(v) é a probabilidade de um vetor visível, dada por p(v) = (1/Z) * Σ_h e^(-E(v,h)), com Z como a função de partição para normalização e E(v,h) como a função de energia atribuída ao estado da rede. Uma energia mais baixa indica uma configuração mais "desejável". O gradiente ∂log(p(v))/∂w_ij tem a forma simples ⟨v_i h_j⟩_data - ⟨v_i h_j⟩_model, onde ⟨...⟩_p representa médias com respeito à distribuição p.
O desafio surge na amostragem de ⟨v_i h_j⟩_model, pois requer amostragem de Gibbs alternada estendida. A CD substitui esta etapa executando amostragem de Gibbs alternada por n passos (valores de n=1 funcionam bem). Após n passos, os dados são amostrados e essa amostra é usada no lugar de ⟨v_i h_j⟩_model. O procedimento de CD funciona da seguinte forma:
- Inicialize as unidades visíveis com um vetor de treinamento.
- Atualize as unidades ocultas em paralelo, dadas as unidades visíveis: p(h_j=1|V) = σ(b_j + Σ_i v_i w_ij), onde σ é a função sigmoide e b_j é o viés da unidade oculta j.
- Reconstrua as unidades visíveis a partir das unidades ocultas e, em seguida, atualize as unidades ocultas novamente com base na reconstrução.
- Realize a atualização de peso usando a diferença entre as correlações originais e reconstruídas.
Este procedimento é aplicado de forma gulosa, camada por camada, para treinar uma DBN. Após o pré-treinamento, toda a rede pode ser ajustada usando retropropagação ou outros métodos supervisionados.
Aplicações e Impacto
As redes de crenças profundas foram aplicadas em vários domínios. Na área da saúde, as DBNs têm sido usadas para analisar sinais de eletroencefalografia (EEG), auxiliando na detecção de condições neurológicas. Na descoberta de medicamentos, elas têm sido empregadas para prever propriedades moleculares e identificar potenciais candidatos a fármacos, aproveitando sua capacidade de aprender representações hierárquicas a partir de dados químicos.
As DBNs também encontraram uso no reconhecimento de fala, onde serviram como modelos acústicos, e em tarefas de reconhecimento de imagem, onde aprenderam características a partir de pixels brutos. Seu sucesso nessas áreas demonstrou a versatilidade do pré-treinamento generativo, influenciando desenvolvimentos posteriores em Generative AI e modelos em larga escala.
Apesar de terem sido ofuscadas por arquiteturas mais recentes, como os modelos Transformer (architecture), as DBNs permanecem uma ferramenta educacional importante para entender os princípios do aprendizado profundo. Elas são frequentemente estudadas em cursos de Machine learning e Deep learning como um exemplo fundamental de pré-treinamento não supervisionado e aprendizado hierárquico de características.
Limitações e Evolução
As DBNs têm várias limitações. O treinamento pode ser computacionalmente intensivo, especialmente para grandes conjuntos de dados, e a aproximação da divergência contrastiva pode levar a estimativas enviesadas. Além disso, como modelos generativos, elas são menos escaláveis do que modelos discriminativos para certas tarefas. O surgimento de modelos baseados em Transformer (architecture), particularmente no processamento de linguagem natural, desviou o foco das DBNs, pois essas novas arquiteturas ofereciam melhor desempenho com treinamento de ponta a ponta.
No entanto, os princípios subjacentes às DBNs - como pré-treinamento camada por camada e modelagem baseada em energia - continuam a influenciar a pesquisa moderna. Conceitos como autoencoders e autoencoders variacionais baseiam-se em ideias semelhantes, e a estratégia de pré-treinamento guloso foi adaptada de várias formas em pipelines contemporâneos de aprendizado profundo.
Legado e Leitura Adicional
As redes de crenças profundas representam um momento crucial na evolução da Artificial intelligence. Elas demonstraram que arquiteturas profundas poderiam ser treinadas de forma eficaz, abrindo caminho para a revolução do aprendizado profundo. Pesquisadores em instituições como MIT CSAIL, Stanford AI Lab e Berkeley AI Research construíram sobre essas bases, contribuindo para o rápido progresso no campo.
Para aqueles interessados em explorar as DBNs mais a fundo, os artigos originais de Hinton e seus colaboradores fornecem derivações detalhadas e resultados experimentais. Livros-texto sobre Deep learning frequentemente incluem capítulos sobre DBNs e RBMs, oferecendo perspectivas teóricas e práticas. À medida que o campo continua a evoluir, as lições aprendidas com as DBNs permanecem relevantes, particularmente em áreas como aprendizado não supervisionado e modelagem generativa.