Uma rede Hopfield, também conhecida como memória associativa, é uma forma de rede neural recorrente que pode armazenar e recuperar padrões por meio de um processo de minimização de energia. Nomeada em homenagem ao físico John Hopfield, a rede consiste em uma única camada de neurônios binários, cada um conectado a todos os outros, exceto a si mesmo, com pesos simétricos e bidirecionais. Os padrões são aprendidos por meio da regra de aprendizado de Hebb e recuperados ao fixar entradas parciais, permitindo então que a rede evolua dinamicamente em direção a mínimos locais de energia que correspondem aos padrões armazenados. Isso torna a rede robusta a dados ruidosos ou incompletos, pois ela pode reconstruir padrões completos a partir de pistas parciais.
As origens da rede situam-se tanto na psicologia cognitiva quanto na mecânica estatística. Na psicologia, modelos de memória associativa remontam às décadas de 1950 e 1960, incluindo o modelo treinado por Hebb de W. K. Taylor (1956), a Lernmatrix de Karl Steinbuch (1961) e a memória associativa por gradiente descendente de Teuho Kohonen (1974). Na física, o modelo de Ising de magnetismo, estudado por Roy J. Glauber em 1963 com dinâmicas dependentes do tempo, forneceu a base matemática. A ideia de adaptar um sistema semelhante ao de Ising por meio do aprendizado hebbiano foi proposta de forma independente por Frank Rosenblatt (1960), Kaoru Nakano (1971), Shun'ichi Amari (1972) e William A. Little (1974). O artigo de John Hopfield de 1982 integrou essas ideias ao modelo de vidro de spin de Sherrington–Kirkpatrick (1975), estabelecendo a rede Hopfield discreta; um artigo de 1984 estendeu o modelo para funções de ativação contínuas.
Estrutura e Dinâmica
A rede compreende N unidades binárias de limiar, cada uma assumindo valores de +1 ou -1 (ou 0/1 em algumas convenções). O estado da rede é um vetor V de N bits. As conexões entre neurônios distintos i e j são simétricas, com peso w_ij = V_i^s V_j^s para um padrão armazenado V^s, e sem auto-conexões (w_ii = 0). Durante a recuperação, a rede atualiza os neurônios de forma assíncrona, com cada neurônio disparando se sua entrada ponderada exceder um limiar. Esse processo minimiza uma função de energia, conduzindo o sistema a um mínimo local que representa um padrão armazenado. A regra de aprendizado de Hebb armazena múltiplos padrões por soma, embora a capacidade seja limitada; redes Hopfield clássicas podem armazenar aproximadamente 0,14N padrões para N neurônios.
Aplicações e Limitações
Redes Hopfield foram aplicadas em física, psicologia, neurociência e teoria de aprendizado de máquina. Elas servem como modelos de memória associativa na ciência cognitiva e como modelos simplificados de dinâmica neural na mecânica estatística. No entanto, seus neurônios binários, escalabilidade limitada e incompatibilidade com aprendizado baseado em gradientes tornaram-nas raras na prática moderna. Elas são usadas principalmente como ferramentas teóricas ou em tarefas especializadas, como otimização e conclusão de padrões, em vez de aplicações em larga escala.
Desenvolvimentos Modernos
Um avanço importante veio em 2016, quando Dimitry Krotov e Hopfield modificaram a dinâmica e a função de energia da rede para aumentar a capacidade de armazenamento, dando origem ao que hoje é chamado de Memórias Associativas Densas ou redes Hopfield modernas. Demircigil e colaboradores estenderam essa ideia em 2017, e dinâmicas contínuas para modelos de grande capacidade foram desenvolvidas em uma série de artigos entre 2016 e 2020. Essas variantes modernas têm conexões com transformadores e grandes modelos de linguagem, pois seus mecanismos de atenção podem ser interpretados como uma forma de recuperação de memória associativa.
Legado
Em 2024, John J. Hopfield e Geoffrey E. Hinton foram agraciados com o Prêmio Nobel de Física por suas contribuições fundamentais ao aprendizado de máquina, incluindo a rede Hopfield. A rede permanece como um pilar na compreensão de como sistemas neurais podem armazenar e recuperar informações, conectando física, biologia e computação. Seus princípios continuam a informar pesquisas em aprendizado profundo e IA generativa, particularmente em arquiteturas com memória aumentada.