O algoritmo hebbiano generalizado (GHA) é uma regra de aprendizado não supervisionado para redes neurais artificiais que realiza análise de componentes principais (PCA). Foi introduzido por Terence D. Sanger em 1989 como uma extensão da regra de Oja, que extrai apenas o primeiro componente principal. O GHA permite que uma rede neural linear de camada única aprenda os primeiros k componentes principais da distribuição dos dados de entrada de forma sequencial, tornando-se um método fundamental na redução de dimensionalidade e extração de características baseadas em redes neurais.
Diferentemente de métodos de aprendizado supervisionado que exigem dados rotulados, o GHA opera puramente nas estatísticas de entrada. Ele segue uma regra de atualização inspirada no hebbianismo, onde os pesos sinápticos são fortalecidos quando as ativações pré e pós-sinápticas estão correlacionadas, mas com uma etapa crucial de normalização e descorrelação. Essa descorrelação, implementada por um processo semelhante ao de Gram-Schmidt, garante que cada neurônio de saída aprenda um componente principal distinto, ordenado por variância decrescente.
Formulação matemática
Para um vetor de entrada x ∈ ℝⁿ e um vetor de saída y ∈ ℝᵏ, a rede calcula y = W x, onde W é uma matriz de pesos k×n. A regra de atualização do GHA para cada peso wᵢⱼ (conectando a entrada j à saída i) é:
Δwᵢⱼ = η yᵢ ( xⱼ - Σ_{p=1}^{i} wₚⱼ yₚ )
Aqui, η é a taxa de aprendizado, e o somatório sobre p de 1 a i realiza uma ortogonalização sequencial. Para o primeiro neurônio de saída (i=1), a regra se reduz à regra de Oja: Δw₁ⱼ = η y₁ (xⱼ - w₁ⱼ y₁). Para neurônios subsequentes, o termo subtrai as projeções da entrada sobre os vetores de peso já aprendidos, forçando o novo neurônio a capturar variância ortogonal aos componentes anteriores.
Essa atualização pode ser interpretada como uma ascensão de gradiente estocástico na variância explicada por cada saída, sujeita a restrições de ortonormalidade. Sob condições brandas na taxa de aprendizado (por exemplo, diminuindo para zero), os vetores de peso convergem para os autovetores da matriz de covariância da entrada, ordenados por autovalor decrescente.
Relação com a regra de Oja e PCA
A regra de Oja, proposta por Erkki Oja em 1982, é uma regra hebbiana de neurônio único que normaliza o vetor de peso para comprimento unitário, fazendo-o convergir para o primeiro componente principal. O GHA generaliza isso usando uma cascata de neurônios, onde a atualização de cada neurônio inclui uma subtração das contribuições de todos os neurônios anteriores. Isso é análogo ao procedimento de ortogonalização de Gram-Schmidt, mas realizado online e estocasticamente.
Comparado a algoritmos de PCA em lote (por exemplo, decomposição em autovalores), o GHA é totalmente incremental e pode processar fluxos de dados uma amostra por vez. Ele não requer armazenar a matriz de covariância completa, tornando-o eficiente em memória para dados de alta dimensionalidade. No entanto, converge mais lentamente que métodos em lote e é sensível ao agendamento da taxa de aprendizado.
Aplicações e importância
O GHA foi aplicado em vários domínios, incluindo compressão de imagens, processamento de sinais e reconhecimento de padrões. Na década de 1990, foi usado para extração de características no reconhecimento de dígitos manuscritos e para reduzir a dimensionalidade em dados de radar e sonar. Sua natureza online o tornou atraente para sistemas em tempo real, como filtros adaptativos e robótica.
No contexto da pesquisa em Machine learning e Neural network, o GHA contribuiu para a compreensão teórica do aprendizado hebbiano e da auto-organização. Demonstrou que regras de aprendizado locais simples poderiam alcançar propriedades estatísticas globais, um tema que influenciou trabalhos posteriores em Deep learning e aprendizado de representação não supervisionado. Embora redes profundas modernas frequentemente usem retropropagação e Adam (Optimizer), o GHA permanece um exemplo clássico de aprendizado biologicamente plausível.
Limitações e contexto moderno
O GHA assume uma rede linear e estatísticas de entrada semelhantes a gaussianas, o que limita sua capacidade de capturar estruturas não lineares. Extensões como PCA não linear e métodos baseados em kernel abordam isso, mas perdem a forma hebbiana simples. Além disso, o GHA requer ajuste cuidadoso da taxa de aprendizado; uma taxa muito alta leva à divergência, muito baixa retarda a convergência. A natureza sequencial também significa que erros nos componentes iniciais se propagam para os posteriores.
Com o avanço do Deep learning e das arquiteturas Transformer (architecture), o GHA raramente é usado em sistemas de última geração. No entanto, permanece um pilar pedagógico em cursos de computação neural e Artificial intelligence. Seus princípios de descorrelação e maximização de variância sustentam técnicas mais avançadas como Batch Normalization e Layer Normalization, que também visam estabilizar e descorrelacionar ativações.
Ver também
- regra de Oja (não na lista, mas conceitualmente ligado)
- análise de componentes principais (não na lista)
- aprendizado não supervisionado (não na lista)
- rede neural
- aprendizado de máquina
Referências
- Sanger, T. D. (1989). "Optimal unsupervised learning in a single-layer linear feedforward neural network." Neural Networks, 2(6), 459-473.
- Oja, E. (1982). "Simplified neuron model as a principal component analyzer." Journal of Mathematical Biology, 15(3), 267-273.