Una máquina de Helmholtz es un tipo de red neuronal diseñada para el aprendizaje no supervisado de modelos probabilísticos. Fue introducida en 1995 por Geoffrey Hinton, Peter Dayan, Brendan Frey y Richard Zemel. La arquitectura consta de dos componentes complementarios: un modelo de reconocimiento que mapea los datos de entrada a una distribución sobre variables latentes, y un modelo generativo que reconstruye los datos a partir de esas variables latentes. La máquina se entrena mediante el algoritmo de vigilia-sueño, que alterna entre ajustar los pesos de reconocimiento para inferir los estados latentes y ajustar los pesos generativos para reconstruir los datos.
La máquina de Helmholtz recibe su nombre de Hermann von Helmholtz, un físico y fisiólogo del siglo XIX que propuso que la percepción implica inferencia inconsciente - el cerebro construye un modelo del mundo para interpretar la entrada sensorial. La máquina encarna esta idea al aprender un modelo generativo jerárquico de los datos, donde los niveles superiores representan características más abstractas y los niveles inferiores representan detalles más finos.
Arquitectura
La máquina de Helmholtz tiene una estructura en capas con dos conjuntos de conexiones. Las conexiones ascendentes (de reconocimiento) van desde la capa de entrada hasta la capa superior, y las conexiones descendentes (generativas) van en la dirección inversa. Cada capa contiene un conjunto de unidades binarias estocásticas. El modelo de reconocimiento calcula la probabilidad de que cada unidad oculta esté activa dado la capa inferior, mientras que el modelo generativo calcula la probabilidad de que cada unidad esté activa dado la capa superior.
Este diseño bidireccional permite a la red realizar tanto inferencia (reconocimiento de patrones) como generación (producción de nuevas muestras). El modelo de reconocimiento aproxima la distribución posterior sobre las variables latentes, que es intratable de calcular exactamente en general. El modelo generativo define una distribución conjunta sobre los datos y las variables latentes, que puede ser muestreada para producir nuevos puntos de datos.
Algoritmo de Vigilia-Sueño
El algoritmo de vigilia-sueño es un procedimiento de entrenamiento en dos fases. En la fase de vigilia, se presenta un vector de datos a la red, y el modelo de reconocimiento se utiliza para muestrear un conjunto de estados latentes de abajo hacia arriba. Estos estados muestreados se usan luego para ajustar los pesos generativos, de modo que el modelo generativo reconstruya mejor los datos. En la fase de sueño, el modelo generativo se utiliza para muestrear un conjunto de estados latentes de arriba hacia abajo, y estos se usan para ajustar los pesos de reconocimiento, de modo que el modelo de reconocimiento infiera mejor los estados latentes que produjeron las muestras.
El algoritmo es una aproximación al aprendizaje de máxima verosimilitud. No se garantiza que converja a un óptimo global, pero es computacionalmente eficiente y funciona bien en la práctica para muchas tareas. El algoritmo de vigilia-sueño fue un ejemplo temprano de un método para entrenar modelos generativos profundos, e influyó en desarrollos posteriores como los autoencoders variacionales y las máquinas de Boltzmann.
Aplicaciones e Influencia
Las aplicaciones tempranas de la máquina de Helmholtz incluyeron el reconocimiento de dígitos manuscritos y el modelado de documentos. La máquina era capaz de aprender características útiles a partir de datos no etiquetados, que luego podían usarse para clasificación u otras tareas posteriores. El concepto de aprender representaciones jerárquicas mediante una combinación de procesamiento ascendente y descendente ha sido influyente en el desarrollo del aprendizaje profundo.
Muchos modelos generativos modernos, incluyendo las redes generativas adversariales y los modelos de difusión, se basan en ideas que fueron exploradas por primera vez en la máquina de Helmholtz. El algoritmo de vigilia-sueño también anticipó el uso del algoritmo de maximización de expectativas en modelos de variables latentes, aunque difiere en su enfoque para aproximar la posterior.
Limitaciones y Desarrollos Posteriores
La máquina de Helmholtz original tenía varias limitaciones. El modelo de reconocimiento era una red feedforward simple, lo que limitaba su capacidad para capturar distribuciones posteriores complejas. El algoritmo de vigilia-sueño también sufría de un desajuste entre la distribución utilizada para entrenar el modelo de reconocimiento y la posterior verdadera, lo que podía llevar a soluciones subóptimas.
Trabajos posteriores abordaron estos problemas introduciendo métodos de inferencia más sofisticados, como la inferencia variacional y la inferencia amortizada. El autoencoder variacional, introducido en 2013 por Diederik Kingma y Max Welling, puede verse como un descendiente moderno de la máquina de Helmholtz, utilizando un modelo de reconocimiento aprendido y un modelo generativo entrenado maximizando un límite inferior en la verosimilitud.