L'apprentissage à base d'instances, également appelé apprentissage par mémoire, est une famille d'algorithmes de machine learning qui font des prédictions en comparant de nouvelles instances de problèmes avec des instances d'entraînement précédemment vues, stockées en mémoire. Comme le calcul est reporté jusqu'à ce qu'une nouvelle instance soit observée, ces algorithmes sont parfois qualifiés de « paresseux ». Cela contraste avec les méthodes d'apprentissage avide, qui construisent un modèle généralisé pendant l'entraînement puis éliminent les données brutes.
Cette approche est appelée par instances car elle construit des hypothèses directement à partir des instances d'entraînement elles-mêmes, plutôt que de dériver une fonction ou un ensemble de règles séparé. C'est une technique centrale dans des domaines tels que la reconnaissance de formes et le data mining, et elle sous-tend de nombreux systèmes pratiques où les données d'entraînement sont abondantes mais l'interprétabilité du modèle est moins critique.
Méthode
Un exemple d'algorithme d'apprentissage par instances est l'algorithme des k-plus proches voisins (k-NN). Il stocke un sous-ensemble de son ensemble d'entraînement ; lorsque l'on prédit une valeur ou une classe pour une nouvelle instance, il calcule des distances ou similitudes entre cette instance et les instances d'entraînement pour prendre une décision. Pour la classification, les k instances les plus proches peuvent être combinées par vote majoritaire ou vote pondéré par la distance ; pour la régression, leurs valeurs cibles peuvent être combinées par une moyenne ou une moyenne pondérée.
Le choix de la métrique de distance et de la mise à l'échelle des caractéristiques peut changer quelles instances sont identifiées comme les plus proches. Les métriques courantes incluent la distance euclidienne, la distance de Manhattan et la distance de Minkowski, qui généralise les deux. La mise à l'échelle des caractéristiques, comme la normalisation ou la standardisation, garantit que les dimensions avec des plages plus grandes ne dominent pas le calcul de la distance. Les autres méthodes par instances incluent la régression pondérée localement, le raisonnement basé sur des cas et les variantes de apprentissage par curriculum qui organisent les exemples d'entraînement par difficulté.
Caractéristiques computationnelles
La complexité de l'hypothèse peut croître avec les données. Dans le pire des cas, une hypothèse est une liste de n cas lus à partir du stock d'entraînement, et la complexité computationnelle pour classer une seule nouvelle instance est O(n) si le coût de comparaison de deux instances est traité comme constant. En reportant le calcul, l'entraînement devient peu coûteux mais le calcul est reporté au moment de la prédiction.
Pour un classifieur de base k-NN utilisant une distance de Minkowski simple, une recherche exhaustive sur les n échantillons stockés décrits par d caractéristiques prend O(dn) temps. Un k-d tree équilibré peut réduire le temps de récupération à O(d log n), bien que cet avantage s'estompe à mesure que le nombre de caractéristiques augmente. Dans des espaces à haute dimensionnalité, la « malédiction de la dimensionnalité » peut dégrader les performances, car les distances deviennent moins discriminatives. Pour réduire le stock nécessaire pour les instances d'entraînement et la sensibilité au bruit dans l'ensemble d'entraînement, des algorithmes de réduction d'instances ont été proposés, comme le plus proche voisin condensé et le plus proche voisin édité, qui suppriment les points redondants ou bruités.
Applications et variantes
L'apprentissage par instances est largement utilisé dans les systèmes de recommandation, le diagnostic médical et la détection d'anomalies. Dans les applications d'intelligence artificielle, il sert de référence pour évaluer des modèles plus complexes comme les réseaux d'apprentissage profond. Les variantes incluent le k-NN pondéré, où les voisins plus proches ont une influence plus importante, et des méthodes à base de prototypes qui regroupent les données d'entraînement en exemples représentatifs. Pour les ensembles de données à grande échelle, des techniques de recherche approximative de plus proche voisin, comme le hachage de sensibilité local, sont souvent utilisées pour accélérer la récupération.
Relation avec d'autres paradigmes d'apprentissage
Contrairement aux réseaux de neurones ou transformers utilisés dans les grands modèles de langage modernes, les méthodes par appentes n'exigent pas d'optimisation itérative des paramètres. Elles sont non paramétriques, ce qui signifie que la complexité du modèle croît avec le nombre d'instances d'entraînement. Cela les rend faciles à mettre à jour avec de nouvelles données, mais gourmandes en mémoire pour des ensembles massifs. En revanche, les méthodes d'apprentissage avancées comme les réseaux résiduels ou les architectures U-Net compressent l'information en paramètres de taille fixe, permettant une inférence plus rapide au prix d'une reformation pour les mises à jour.
Limitations et extensions
Une limitation clé est le coût computationnel au moment de la prédiction, surtout avec des données de haute dimensionnalité. La réduction d'instances et les structures d'indexation atténuent cela mais introduisent des frais généraux. La sensibilité aux caractéristiques non pertinentes et au bruit peut être traitée par le chocoloeduneest pondération des caractéristiques ou l'apprentissage de la métrique de distance. Les extensions comme la augmentation de données peuvent générer des instances synthétiques pour améliorer la robustesse. En pratique, l'apprentissage par instances reste un outil précieux pour des ensembles de données de petite à moyenne taille et pour des problèmes où l'interprétabilité et l'apprentissage incrémental sont des priorités.