Une carte auto-organisatrice croissante (GSOM) est un type de réseau de neurones artificiels utilisé pour l'apprentissage non supervisé, notamment pour le regroupement et la visualisation de données de haute dimensionnalité. Contrairement à la carte auto-organisatrice standard (SOM), qui possède une grille fixe de neurones dès le départ, une GSOM démarre avec un réseau minimal de nœuds (typiquement quatre) et croît en ajoutant de nouveaux nœuds pendant le processus d'entraînement. Cette croissance dynamique permet à la GSOM d'adapter sa topologie à la structure sous-jacente des données d'entrée, ce qui peut conduire à une meilleure représentation des distributions de données complexes ou non uniformes. Le concept a été introduit au début des années 2000 comme une extension de la SOM, visant à réduire le besoin de spécification a priori de la taille de la carte et à améliorer la résolution de la carte dans les régions de forte densité de données.
La GSOM fonctionne en deux phases principales : une phase de croissance et une phase de lissage. Pendant la phase de croissance, le réseau s'étend en insérant de nouveaux nœuds dans les zones où l'erreur cumulée d'un nœud dépasse un seuil prédéfini. L'erreur est généralement mesurée comme la distance euclidienne entre le vecteur de poids du nœud et les vecteurs d'entrée qu'il gagne. Lorsque l'erreur d'un nœud dépasse le seuil, de nouveaux nœuds sont ajoutés à ses positions voisines, et les poids sont initialisés pour interpoler entre les nœuds existants. La phase de lissage affine ensuite les poids sans nouvelle croissance, similaire à la phase finale d'une SOM standard. Cette approche en deux phases aide à équilibrer le compromis entre la capture de détails fins et le maintien d'une carte stable et interprétable.
Mécanisme de croissance
Le processus de croissance dans une GSOM est régi par un paramètre de seuil de croissance (GT), qui contrôle la sensibilité du réseau à l'erreur. Un GT plus faible conduit à des insertions de nœuds plus fréquentes, ce qui donne une carte plus grande, tandis qu'un GT plus élevé produit une carte plus petite et plus compacte. L'accumulation d'erreur pour chaque nœud est généralement calculée comme la somme des carrés des erreurs sur les vecteurs d'entrée qu'il a gagnés, et cette valeur est comparée au GT. Lorsque le seuil est dépassé, le nœud est marqué pour une croissance, et de nouveaux nœuds sont insérés dans les directions de ses voisins qui présentent l'erreur la plus élevée. Ce mécanisme assure que la carte s'étend préférentiellement dans les régions où les données sont plus complexes ou plus denses.
Algorithme d'entraînement
L'algorithme d'entraînement pour une GSOM suit une série d'étapes. Initialement, une grille de nœuds de 2x2 est créée avec des vecteurs de poids aléatoires. Pour chaque vecteur d'entrée, le nœud gagnant (celui ayant la plus petite distance à l'entrée) est identifié, et son poids ainsi que ceux de ses voisins topologiques sont mis à jour en utilisant un taux d'apprentissage qui diminue avec le temps. Après chaque époque, l'erreur de chaque nœud est cumulée. Si l'erreur d'un nœud dépasse le GT, la croissance est déclenchée. Le processus se répète jusqu'à ce que l'erreur totale ou le nombre de nœuds atteigne un critère d'arrêt. La phase finale de lissage est ainsi effectuée pour un nombre fixe d'époques avec un taux d'apprentissage plus bas pour affiner les poids. Cet algorithme est efficace sur le plan informatique et par rapport à certaines autres modèles de réseaux croissants, car il ne nécessite pas d'opérations de suppression ou de fusion complexes.
Applications
Les GSOM ont été appliquées dans divers domaines où les données sont de haute dimensionnalité et où la taille optimale de la carte est inconnue. Les applications courantes incluent des tâches d'apprentissage automatique telles que le regroupement de docations, la segmentation d'images et la détection d'anomalies dans le trafic réseau. En bioinformatique, les GSOM ont été utilisées pour regrouper des données d'expression génique, où le nombre de clusters biologiquement pertinents est souvent pas connu à l'avance. La possibilité de faire croître la carte de manière adaptative est particulièrement utile dans les scénarios de données en flux continu, où la distribution des données peut évoluer, car la GSOM peut continuer à ajouter des nœuds pour s'adapter à de nouveaux schémas. Comparées aux SOM standard, les GSOM produisent souvent des cartes avec une meilleure erreur de quantification et une meilleure préservation topologique, surtout lorsque les données ont une densité non uniforme.
Comparaison avec la SOM standard
La différence principale entre une GSOM et une SOM standard réside dans l'architecture du réseau. Une SOM standard oblige l'utilisateur à spécifier le nombre de lignes et de colonnes de la carte avant l'étude, ce qui peut être difficile si la dimensionnalité intrinsèque des données est inconnue. Une GSOM élimine cette exigence en faisant croître la carte selon les besoins. Cependant, cette flexibilité se paie par des paramètres supplémentaires, tels que le seuil de croissance et le nombre maximal de nœuds, qui doivent être ajustés. En pratique, les GSOM ont tendance à être plus sensibles au taux d'apprentissage initial et à l'ordre de présentation des entrées, elles peuvent souvent converger vers une représentation plus compacte qu'une SOM de taille fixe avec un nombre semblable de nœuds. Les recherches ont montré que les GSOM peuvent générer une erreur de quantification finale plus faible que celle des SOME de taille similaire, bien que le coût de calcul de l'ajout de nœuds puisse être plus élevé.
Extensions et variantes
Plusieurs variantes de la GSOM ont été proposées pour palier à certaines limitations. Par exemple, la carte auto-organisatrice hiérarchique croissante (GHSOM) étend la GSOM en créant une structure hiérarchique de cartes, où chaque nœud peut être une carte, permettant un regroupement à plusieurs niveaux. Une autre variante, le gaz neural croissant (GNC), est lié mais utilise une règle de croissance différente basée sur l'âge des connexions entre les nœuds. Certaines implémentations intègrent des techniques de augmentation des données pour réduire la robustesse lorsqu'on travaille avec des données bruitées. La GSOM a également été intégrée à des cadres de apprentissage profond, comme une étape de préprocessing pour des systèmes d'intelligence artificielle nécessitant une réduction de dimensionnalité. Malgré ces extensions, l'idée fondamentale de croissance adaptative demeure centrale dans ces approches.
Limites et considérations
Une limite de la GSOM est que le seuil de croissance doit être préparamétré de manière adéquate ; si le seuil remis, la carte peut être excessivement grande, entraînant un surajustement des données d'apprentissage. À l'inverse, un seuil élevé peut déboucher sur une carte trop petite pour mettre en évidence des structures importantes. L'algorithme suppose éduit que les entrées sont normalisées, car les calculs de distance dépendent de l'échelle. De plus, la présentation des vecteurs d'entrée peut mener une ordinalité à la carte finale, raison pour laquelle des essais avec différentes graines aléatoires sont souvent recommandés. La GSOM n'est pas un grand modèle de langue ou une architecture à base de transformeur : elle appartient à la catégorie des réseaux à apprentissage concurrentiel, distincts des modèles supervisés et auto-supervisés qui dominent les applications IA générique modernes. Elle reste néanmoins un outil utile pour l'analyse exploratoire de données dans la recherche et l'industrie.
Voir aussi
- Self-organizing map (non inclus dans la liste fournie, mais connexe)
- Neural network
- Machine learning
- Data Augmentation