Une réseau de croyances profondes convolutionnel (CDBN) est un type de modèle de apprentissage profond qui intègre l'extraction hiérarchique de caractéristiques des réseaux de neurones convolutionnels avec l'apprentissage génératif probabiliste des réseaux de croyances profondes. Il est conçu pour l'apprentissage non supervisé de caractéristiques de haut niveau à partir de données bidimensionnelles telles que des images, des spectrogrammes audio et des trames vidéo. Le modèle a été introduit à la fin des années 2000 comme une extension des machines de Boltzmann restreintes pour traiter efficacement des entrées spatialement structurées à grande échelle.
Les CDBN sont constitués de plusieurs couches de machines de Boltzmann restreintes convolutionnelles (convRBM), où chaque couche apprend des caractéristiques de plus en plus abstraites. Contrairement aux réseaux de croyances profondes entièrement connectés, les CDBN utilisent des champs récepteurs locaux et des poids partagés, réduisant considérablement le nombre de paramètres et permettant une évolutivité vers des entrées à haute résolution. Le modèle est entraîné couche par couche en utilisant la divergence contrastive, suivie d'un affinage optionnel avec des signaux supervisés.
Architecture
Le bloc de construction de base d'un CDBN est la machine de Boltzmann restreinte convolutionnelle. Dans une convRBM, la couche visible représente l'image d'entrée, et la couche cachée est constituée de cartes de caractéristiques. Chaque carte de caractéristiques est connectée à la couche visible via un ensemble de poids de filtres partagés, également appelés noyaux. La couche de regroupement, généralement un regroupement maximal, réduit la dimensionnalité spatiale des activations cachées, offrant une invariance à la translation et une efficacité computationnelle.
Un CDBN empile plusieurs convRBM, où la sortie regroupée d'une couche sert d'entrée visible à la suivante. Cette structure hiérarchique permet au réseau d'apprendre des bords et des textures de bas niveau dans les premières couches, et des objets ou parties de niveau supérieur dans les couches ultérieures. La nature probabiliste du modèle lui permet de générer de nouveaux échantillons à partir de la distribution apprise, une propriété non partagée par les réseaux convolutionnels discriminatifs standard.
Entraînement
L'entraînement d'un CDBN se déroule de manière gloutonne, couche par couche. Chaque convRBM est entraînée séparément en utilisant la divergence contrastive, une technique qui approxime l'estimation du maximum de vraisemblance. La règle d'apprentissage met à jour les poids de filtres partagés et les biais en fonction de la différence entre les statistiques dépendantes des données et celles dépendantes du modèle. Après le pré-entraînement de toutes les couches, le réseau entier peut être affiné en utilisant la rétropropagation avec des données étiquetées pour des tâches de classification.
Un défi dans l'entraînement des CDBN est le coût computationnel de l'inférence dans le modèle graphique probabiliste, en particulier pour les grandes images. Pour y remédier, les chercheurs ont utilisé des approximations telles que l'inférence de champ moyen et l'échantillonnage de Gibbs par blocs. De plus, l'utilisation de petits mini-lots et de l'élan dans la descente de gradient stochastique aide à stabiliser l'entraînement.
Applications
Les CDBN ont été appliqués à diverses tâches de vision par ordinateur, notamment la reconnaissance d'objets, la détection de visages et la classification de scènes. Ils ont également été utilisés pour l'apprentissage non supervisé de caractéristiques dans des domaines comme le traitement audio et l'imagerie médicale. Au début des années 2010, les CDBN ont obtenu des résultats compétitifs sur des ensembles de données de référence tels que CIFAR-10 et NORB, démontrant leur efficacité à apprendre des représentations utiles sans données étiquetées étendues.
Plus récemment, les principes des CDBN ont influencé d'autres modèles génératifs, tels que les autoencodeurs variationnels et les réseaux antagonistes génératifs, bien que les CDBN eux-mêmes soient moins couramment utilisés aujourd'hui en raison de l'essor de l'apprentissage profond de bout en bout avec un entraînement supervisé à grande échelle.
Relation avec d'autres modèles
Les CDBN partagent des similitudes conceptuelles avec d'autres architectures profondes. Ils sont un pendant probabiliste des réseaux de neurones convolutionnels standard, qui sont purement discriminatifs. Contrairement aux modèles basés sur transformers comme les grands modèles de langage, les CDBN sont conçus pour les données spatiales et ne reposent pas sur des mécanismes d'attention. La capacité générative des CDBN les distingue également des réseaux résiduels et des U-Nets typiques, qui sont feedforward et spécifiques à une tâche.
Dans le contexte plus large du apprentissage automatique, les CDBN représentent une tentative précoce de combiner le pré-entraînement non supervisé avec des architectures convolutionnelles, un thème qui a ensuite influencé la recherche en apprentissage profond dans des institutions comme l'Université de Toronto et MIT CSAIL.
Limites et héritage
Malgré leur attrait théorique, les CDBN présentent des limites pratiques. L'entraînement est intensif en calcul, et l'inférence probabiliste peut être lente. Les gains de performance par rapport aux réseaux convolutionnels purement supervisés étaient souvent modestes, surtout à mesure que de grands ensembles de données étiquetées et un entraînement accéléré par GPU devenaient disponibles. En conséquence, les CDBN ont largement été supplantés par des modèles plus simples et plus évolutifs.
Néanmoins, les idées derrière les CDBN - apprentissage hiérarchique de caractéristiques, connectivité locale et modélisation générative - restent influentes. Ils font partie de la fondation historique de l'apprentissage profond moderne, aux côtés d'autres modèles précoces comme les réseaux de neurones et les réseaux de croyances profondes. Les chercheurs continuent de revisiter les approches génératives pour l'apprentissage semi-supervisé et l'apprentissage de représentations, gardant l'héritage du CDBN pertinent.