Una máquina de Boltzmann es un tipo de red neuronal estocástica recurrente que aprende a representar y muestrear distribuciones de probabilidad sobre estados de salida binarios. Debe su nombre a la distribución de Boltzmann de la mecánica estadística, que gobierna la probabilidad de cada estado de la red según su energía. El modelo también se clasifica como un campo aleatorio de Markov y es una instancia específica del modelo de Sherrington-Kirkpatrick con un campo externo, también conocido como modelo de Ising estocástico. Fue promovido ampliamente en las comunidades de ciencia cognitiva y aprendizaje automático por Geoffrey Hinton, Terry Sejnowski y Yann LeCun como parte de la clase más amplia de modelos basados en energía, donde el hamiltoniano de un vidrio de espín sirve como función de energía que define la tarea de aprendizaje.
Las máquinas de Boltzmann son teóricamente notables por la localidad y la naturaleza hebbiana de su algoritmo de entrenamiento, que sigue la regla de Hebb, y por su paralelismo y semejanza con procesos físicos simples. Sin embargo, las máquinas de Boltzmann con conectividad sin restricciones no han demostrado ser útiles para problemas prácticos en aprendizaje automático o inferencia. Cuando la conectividad está adecuadamente restringida, como en las máquinas de Boltzmann restringidas, el aprendizaje se vuelve lo suficientemente eficiente para aplicaciones prácticas.
Estructura
Una máquina de Boltzmann consiste en una red de unidades binarias, cada una de las cuales produce un estado de 0 o 1. La red en su conjunto tiene una función de energía global, idéntica en forma a la de las redes de Hopfield y los modelos de Ising, definida como:
E = - (suma sobre i<j de w_ij s_i s_j + suma sobre i de theta_i * s_i)
Aquí, w_ij es la fuerza de conexión entre la unidad j y la unidad i, s_i es el estado binario de la unidad i, y theta_i es el sesgo de la unidad i, donde -theta_i representa el umbral de activación. Los pesos a menudo se representan como una matriz simétrica W con ceros en la diagonal.
Probabilidad del Estado de la Unidad
La diferencia en la energía global resultante de que una unidad i esté apagada en lugar de encendida, denotada como Delta E_i, se da por la suma de los pesos de las unidades conectadas más el sesgo. Esta diferencia de energía se relaciona con las probabilidades de los dos estados mediante el factor de Boltzmann, donde la probabilidad de un estado es proporcional a exp(-E / (k_B T)), con k_B siendo la constante de Boltzmann y T un parámetro de temperatura artificial. Esta relación permite que la red actualice las unidades de manera estocástica, favoreciendo configuraciones de menor energía.
Algoritmo de Entrenamiento
El entrenamiento de una máquina de Boltzmann tiene como objetivo ajustar los pesos y sesgos para que la distribución de equilibrio de la red coincida con una distribución objetivo sobre las unidades visibles. La regla de aprendizaje es local y hebbiana: el cambio en un peso es proporcional a la diferencia entre la correlación de las dos unidades cuando la red está fijada a los datos y cuando funciona libremente. Este procedimiento de aprendizaje contrastivo se basa en el muestreo de la distribución del modelo, a menudo utilizando métodos de Monte Carlo con cadenas de Markov. La localidad del algoritmo lo hace biológicamente plausible, pero las redes sin restricciones sufren de convergencia lenta y escalabilidad deficiente.
Variantes Prácticas
Para abordar la ineficiencia de las máquinas de Boltzmann completamente conectadas, los investigadores introdujeron las máquinas de Boltzmann restringidas (RBM), que limitan la conectividad a dos capas - visible y oculta - sin conexiones dentro de la misma capa. Esta restricción permite un entrenamiento más eficiente mediante la divergencia contrastiva. Las RBM apiladas forman la base de las redes de creencia profundas, que fueron influyentes en el desarrollo temprano del aprendizaje profundo. Estas variantes se han aplicado a tareas como la reducción de dimensionalidad, el aprendizaje de características y el filtrado colaborativo, aunque en gran medida han sido superadas por otras arquitecturas en muchos dominios.
Legado e Influencia
La máquina de Boltzmann contribuyó con conceptos fundamentales a la IA generativa y a los modelos basados en energía. Su dinámica estocástica y su interpretación probabilística influyeron en desarrollos posteriores en la investigación de redes neuronales, incluido el uso de variables latentes e inferencia basada en muestreo. Aunque no se usa ampliamente en sistemas contemporáneos a gran escala como los grandes modelos de lenguaje, sus conocimientos teóricos siguen siendo relevantes para comprender los modelos gráficos probabilísticos y el aprendizaje no supervisado. El nombre del modelo persiste en la literatura como un ejemplo canónico de red recurrente estocástica y un puente entre la física estadística y la inteligencia artificial.