Une carte auto-organisatrice (SOM), également connue sous le nom de carte auto-organisatrice de caractéristiques (SOFM) ou carte de Kohonen, est une technique d'apprentissage automatique non supervisé utilisée pour produire une représentation de faible dimension (généralement bidimensionnelle) d'un ensemble de données de dimension supérieure tout en préservant la structure topologique des données. Par exemple, un ensemble de données avec p variables mesurées sur n observations peut être représenté comme des groupes d'observations ayant des valeurs similaires, qui sont ensuite visualisés sous forme de carte bidimensionnelle où les groupes proximaux ont des valeurs plus similaires que les groupes distaux. Cela facilite la visualisation et l'analyse des données de haute dimension.
La SOM est un type de réseau de neurones artificiel mais elle est entraînée à l'aide d'un apprentissage compétitif plutôt que d'un apprentissage par correction d'erreur tel que la rétropropagation avec descente de gradient. Elle a été introduite par le professeur finlandais Teuvo Kohonen dans les années 1980, en s'appuyant sur des modèles biologiques de systèmes neuronaux des années 1970 et sur des modèles de morphogenèse remontant à Alan Turing dans les années 1950. Les SOM créent des représentations internes rappelant l'homuncule cortical, une carte neurologique déformée du corps humain basée sur les zones cérébrales dédiées au traitement sensoriel.
Entraînement et cartographie
Les SOM fonctionnent selon deux modes : l'entraînement et la cartographie. L'entraînement utilise un ensemble de données d'entrée (l'espace d'entrée) pour générer une représentation de dimension inférieure (l'espace de carte). La cartographie classe ensuite les données d'entrée supplémentaires à l'aide de la carte générée. L'objectif de l'entraînement est de représenter un espace d'entrée à p dimensions comme un espace de carte à n dimensions, où p > n. L'espace de carte est constitué de nœuds ou neurones disposés en grille hexagonale ou rectangulaire, généralement bidimensionnelle. Le nombre et la disposition des nœuds sont spécifiés à l'avance en fonction des objectifs de l'analyse.
Chaque nœud est associé à un vecteur de poids représentant sa position dans l'espace d'entrée. Alors que les nœuds de l'espace de carte restent fixes, l'entraînement déplace les vecteurs de poids vers les données d'entrée en réduisant une métrique de distance telle que la distance euclidienne, sans altérer la topologie induite par l'espace de carte. Après l'entraînement, la carte classe les observations supplémentaires en trouvant le nœud dont le vecteur de poids est le plus proche du vecteur d'entrée.
Algorithme d'apprentissage
L'objectif d'apprentissage est d'amener différentes parties du réseau à répondre de manière similaire à certains modèles d'entrée, en partie motivé par la manière dont les informations sensorielles sont traitées dans des parties distinctes du cortex cérébral. Les poids des neurones sont initialisés soit à de petites valeurs aléatoires, soit échantillonnés uniformément dans le sous-espace engendré par les deux plus grands vecteurs propres de l'analyse en composantes principales. Cette dernière alternative accélère l'apprentissage car les poids initiaux se rapprochent déjà des poids finaux de la SOM.
Le réseau reçoit de nombreux vecteurs d'exemple représentant les entrées attendues, généralement administrés plusieurs fois sous forme d'itérations. L'entraînement utilise un apprentissage compétitif : lorsqu'un exemple d'entraînement est fourni, sa distance euclidienne à tous les vecteurs de poids est calculée, et le neurone dont le vecteur de poids est le plus similaire est l'unité de meilleure correspondance (BMU). La BMU et les neurones voisins dans la grille SOM ajustent leurs poids vers le vecteur d'entrée, l'ampleur du changement diminuant avec le temps et la distance dans la grille par rapport à la BMU.
La formule de mise à jour pour un neurone v avec un vecteur de poids Wv(s) est Wv(s+1) = Wv(s) + θ(u,v,s) · α(s) · (D(t) - Wv(s)), où s est l'indice d'étape, t est un indice dans l'échantillon d'entraînement, u est l'indice de la BMU pour le vecteur d'entrée D(t), α(s) est un coefficient d'apprentissage décroissant de manière monotone, et θ(u,v,s) est la fonction de voisinage donnant la distance entre les neurones u et v à l'étape s. L'échantillon d'entraînement peut être parcouru systématiquement, tiré aléatoirement via un échantillonnage bootstrap, ou utiliser d'autres méthodes comme le jackknife.
La fonction de voisinage dépend de la distance dans la grille entre la BMU et le neurone v. Dans sa forme la plus simple, elle vaut 1 pour les neurones suffisamment proches de la BMU et 0 pour les autres, mais les fonctions gaussiennes et de chapeau mexicain sont courantes. Le voisinage se rétrécit avec le temps : des voisinages larges permettent une auto-organisation globale, tandis que des voisinages étroits permettent aux poids de converger vers des estimations locales. Le coefficient d'apprentissage et la fonction de voisinage diminuent régulièrement ou par paliers tous les T pas.
Applications et importance
Les SOM sont utilisées pour la visualisation, le regroupement et la réduction de dimensionnalité dans des domaines tels que l'analyse de données, la reconnaissance de formes et la bioinformatique. Elles excellent dans la préservation des relations topologiques, ce qui les rend utiles pour l'analyse exploratoire de données où la compréhension de la structure est essentielle. Contrairement aux méthodes supervisées, les SOM ne nécessitent pas de données étiquetées, ce qui les rend précieuses dans les scénarios d'apprentissage non supervisé.
Les SOM ont été appliquées dans divers domaines, de la reconnaissance vocale et de l'analyse d'images à l'exploration de données financières et au diagnostic médical. Leur capacité à créer des cartes intuitives de données complexes en a fait un outil de base dans les outils de visualisation de données. La technique reste pertinente dans la recherche moderne en IA, souvent utilisée comme référence pour comparer des architectures plus complexes comme les modèles de deep learning.
Relation avec d'autres réseaux de neurones
Les SOM diffèrent fondamentalement des réseaux à propagation avant entraînés par rétropropagation, tels que les transformers utilisés dans les grands modèles de langage. Alors que les SOM utilisent un apprentissage compétitif et préservent la topologie, les transformers reposent sur la correction d'erreur et les mécanismes d'attention. Les SOM se distinguent également des réseaux résiduels et des U-Nets, qui sont supervisés et utilisent une optimisation par gradient. Cependant, les SOM partagent le paradigme des réseaux de neurones de traitement distribué et de poids adaptatifs, et elles peuvent être intégrées dans des systèmes plus vastes pour le prétraitement ou l'extraction de caractéristiques.
Limites et extensions
Les SOM présentent des limites, notamment une sensibilité à l'initialisation et aux choix de paramètres, et elles peuvent ne pas bien passer à l'échelle pour des données extrêmement de haute dimension. Des variantes comme les SOM croissantes et les SOM hiérarchiques répondent à certains problèmes en ajustant dynamiquement la taille de la carte. Malgré ces défis, les SOM restent un outil fondamental dans l'apprentissage non supervisé, avec des recherches en cours explorant leur utilisation dans des modèles hybrides avec des techniques modernes.
Voir aussi
- Réseau de neurones artificiel
- Apprentissage automatique
- Apprentissage profond
- Intelligence artificielle