L'apprentissage supervisé est une catégorie de apprentissage automatique dans laquelle un modèle est entraîné sur un ensemble de données d'exemples qui associent chacun une entrée à une sortie correcte connue, ou étiquette, et l'objectif du modèle est d'apprendre une correspondance générale entre les entrées et les sorties qui se généralise à de nouveaux exemples non vus. Le mot « supervisé » fait référence au fait qu'une clé de réponses étiquetée, généralement produite par des annotateurs humains ou collectée à partir d'enregistrements historiques, supervise le processus d'apprentissage en indiquant au modèle exactement quelle aurait dû être la réponse correcte pour chaque exemple d'entraînement.
Tâches principales
Les problèmes d'apprentissage supervisé se répartissent en deux grandes catégories. Les tâches de classification prédisent une catégorie discrète, comme savoir si un courriel est du spam, quel objet apparaît dans une image ou quel sentiment exprime un avis. Les tâches de régression prédisent une valeur numérique continue, comme le prix d'une maison ou une prévision de température. Les deux sont entraînées de la même manière : le modèle fait une prédiction, une fonction de perte mesure l'écart entre cette prédiction et l'étiquette correcte, et la descente de gradient, calculée via la rétropropagation dans le cas d'un réseau de neurones, ajuste les paramètres du modèle pour réduire cette erreur, en répétant le processus sur de nombreux exemples et en plusieurs passages sur les données.
Histoire
L'apprentissage supervisé précède l'apprentissage profond de plusieurs et inclut des algorithmes classiques tels que la régression linéaire et logistique, les arbres de décision, les machines à vecteurs de support - développés et formalisés en grande partie par Vladimir Vapnik - et les k-plus proches voisins. La technique a gagné une immense dynamique grâce à la disponibilité de grands ensembles de données étiquetés et à des calculs bon marché ; la compétition ImageNet de 2012, où AlexNet a nettement surpassé les méthodes précédentes sur un grand ensemble de données d'images étiquetées, est largement reconnue pour avoir démontré que l'apprentissage profond supervisé pouvait passer à l'échelle et surpasser des approches conçues manuellement, déclenchant la reprise plus large du apprentissage profond.
Données et étiquetage
Le goulot d'étranglement pratique central de l'apprentissage supervisé réside dans le besoin de données étiquetées - souvent coûteuses et lentes à produire - qui requièrent des annotateurs humains pour catégoriser, transcrire ou autrement marquer un grand nombre d'exemples. Cette contrainte a motivé le développement de paradigmes alternatifs qui réduisent ou éliminent le besoin d'étiquettes, notamment l'apprentissage non supervisé, qui trouve des structures dans des données non étiquetées, et lapprentissage auto-supervisé qui génère son propre signal d'apprentissage à partir de données non étiquetées, une approche qui sous-tend le préentraîntail des modernes grands modèles de langage. L'apprentissage supervisé reste toutefois essentiel à d'autres étapes du pipeline moderne de l'IA, notamment dans le réglage fin supervisé, où un modèle préentraîné est adapté à l'aide d'exemples étiquetés de comportement entrée-sortie souhaité, une étape utilisée pour transformer un modèle de langage de base en un assistant capable de suivre des instructions.
Évaluation
Les performances d'un modèle en apprentissage supervisé sont généralement mesurées sur un ensemble de test réservé, qui n'a pas été utilisé lors de l'entraînement, afin d'évaluer sa capacité de généralisation plutôt qu'un simple mémorisation des données d'entraînement, ce qui est appelé surapprentissage. Les métriques d'évaluation courantes incluent l'exactitude, la précision, le rappel et le score F1 pour la classification, ainsi que l'erreur quadratique moyenne pour la régression, la métrique appropriée dépendant fortement de la tâche et du coût relatifs de différents types d'erreurs, comme les faux positifs par rapport aux faux négatifs tout diagnostic médical.
Importance et limites
L'apprentissage supervisé a été le paradig dominant derrière la plupart des systèmes d'apprentissage automatique déployés pendant des décennies, des filtres à spam et l'évaluation du crédit au diagnostic d'images médicales et à la reconnaissance vocale. Sa principale limite est une dépendance stricte de la qualité et de la couverture de ses données d'entraînement étiquetées : un modèle ne peut être aussi bon que ses étiquettes, et des étiquettes qui reflètent des biais humains historiques ou une couverture incomplète des scénarios réels produTransformeront un modèle qui hérite ou amplifie ces défauts, une préoccupation centrale dans la recherche sur le biais algorithm. À mesure que les approches auto-supervisées et non étiquetées ont mûri, lapprentissage supervisé est devenu de plus en plus un seul étape d'un pipeline plus vaste, plutôt que le processus d'entraînement intégral des systèmes d'IA modernes capables les plus puissants.