L'apprentissage à partir d'exemples positifs et non étiquetés, souvent abrégé en PU learning, est un sous-domaine du machine learning qui traite le problème de la classification binaire lorsque seuls des exemples positifs et des données non étiquetées sont disponibles. Contrairement à l'apprentissage supervisé standard, qui nécessite à la fois des instances étiquetées positives et négatives, le PU learning opère sous la contrainte que les exemples négatifs sont soit absents, soit non explicitement identifiés. Ce cadre se rencontre dans de nombreuses applications réelles où l'obtention d'étiquettes négatives fiables est difficile, coûteuse ou peu pratique. L'objectif est de construire un classifieur capable de distinguer les instances positives des instances négatives, malgré l'absence de données d'entraînement négatives explicites.
Le problème formel a été articulé pour la première fois au début des années 2000, avec des travaux fondateurs de Bing Liu et de ses collègues de l'Université de l'Illinois à Chicago. Leur article de 2002 a introduit le concept d'apprentissage à partir d'exemples positifs et non étiquetés, proposant des algorithmes qui traitent les données non étiquetées comme un mélange d'instances positives et négatives. Depuis lors, le PU learning est devenu un outil important dans des domaines tels que la recherche d'informations, la bioinformatique et la détection de fraude, où les étiquettes négatives sont souvent ambiguës ou incomplètes.
Formulation du problème
Dans une tâche de classification binaire standard, un ensemble d'entraînement est constitué de paires étiquetées (x, y) où y ∈ {+1, -1}. Dans le PU learning, l'ensemble d'entraînement est divisé en deux sous-ensembles : un ensemble d'exemples positifs P, où toutes les instances sont connues comme positives, et un ensemble d'exemples non étiquetés U, qui peut contenir à la fois des instances positives et négatives. Le défi principal est que l'ensemble non étiqueté est un mélange, et la proportion d'instances positives dans U est inconnue. Cela rend le problème d'apprentissage fondamentalement différent de l'apprentissage supervisé standard, car l'absence d'étiquettes négatives introduit un biais qui doit être corrigé.
Une hypothèse courante dans le PU learning est que l'ensemble positif étiqueté est un échantillon aléatoire de la véritable distribution positive, souvent appelée hypothèse de « sélection complètement aléatoire » (SCAR). Sous cette hypothèse, la probabilité qu'une instance positive soit étiquetée est constante et indépendante de ses caractéristiques. Cela permet le développement d'estimateurs non biaisés du risque de classification, qui peuvent être optimisés à l'aide de techniques issues de la théorie de l'apprentissage statistique.
Approches et algorithmes
Plusieurs familles d'algorithmes ont été développées pour aborder le PU learning. Une approche précoce est la stratégie en deux étapes, qui identifie d'abord des exemples négatifs fiables dans l'ensemble non étiqueté à l'aide d'une heuristique, puis entraîne un classifieur standard sur les exemples positifs et les exemples négatifs fiables. Cette méthode, popularisée par Liu et ses collaborateurs, utilise souvent une technique d'espionnage ou un critère basé sur la distance pour sélectionner les négatifs probables. Cependant, ces méthodes peuvent être sensibles à la qualité de la sélection initiale des négatifs.
Une approche plus fondée repose sur l'apprentissage biaisé, où les données non étiquetées sont traitées comme des exemples négatifs bruités. Le classifieur est entraîné pour minimiser une fonction de perte pondérée qui tient compte du fait que certaines instances non étiquetées sont en réalité positives. Cela peut être formulé comme un problème d'apprentissage sensible aux coûts, où le coût d'une mauvaise classification d'une instance positive dans l'ensemble non étiqueté est ajusté en fonction de la probabilité a priori estimée des positifs.
Ces dernières années, des méthodes de deep learning ont été appliquées au PU learning, en particulier en utilisant des réseaux de neurones. Un développement notable est l'estimateur de risque non biaisé proposé par du Plessis, Niu et Sugiyama en 2014, qui fournit une manière théoriquement fondée d'entraîner des classifieurs sans étiquettes négatives. Cet estimateur a été étendu pour gérer des pertes non convexes et s'est avéré efficace dans des contextes de haute dimension, comme la classification d'images et la classification de textes.
Applications
Le PU learning est largement utilisé dans des domaines où les étiquettes négatives sont rares ou peu fiables. En recherche d'informations, il est utilisé pour la classification de documents et le filtrage du spam, où seul un petit ensemble de documents pertinents est connu, et le reste est non étiqueté. En bioinformatique, le PU learning est appliqué pour prédire les interactions protéine-protéine et les fonctions des gènes, où les interactions positives confirmées expérimentalement sont disponibles, mais les interactions négatives sont rarement vérifiées.
Une autre application significative concerne la détection de fraude et la détection d'anomalies. Par exemple, dans la détection de fraude par carte de crédit, les transactions étiquetées comme frauduleuses sont rares et souvent incomplètes, tandis que la grande majorité des transactions sont non étiquetées. Le PU learning permet d'entraîner des modèles sur les cas de fraude confirmés et le vaste ensemble de transactions non étiquetées, améliorant les taux de détection sans nécessiter un étiquetage exhaustif. De même, dans le diagnostic médical, le PU learning peut être utilisé pour identifier les patients atteints d'une maladie rare à partir d'un petit ensemble de cas confirmés et d'un grand ensemble de dossiers de patients non étiquetés.
Défis et extensions
Malgré son utilité, le PU learning fait face à plusieurs défis. La difficulté principale est l'estimation de la probabilité a priori de la classe, c'est-à-dire la proportion d'instances positives dans l'ensemble non étiqueté. Une estimation incorrecte peut conduire à des classifieurs biaisés et à de mauvaises performances. Les chercheurs ont proposé diverses méthodes pour l'estimation a priori, notamment l'utilisation de la validation croisée et des techniques d'appariement des moments, mais le problème reste ouvert dans de nombreux contextes pratiques.
Un autre défi est la présence de bruit d'étiquetage dans l'ensemble positif. Dans certaines applications, les exemples positifs étiquetés peuvent eux-mêmes être mal étiquetés, ce qui peut dégrader les performances des algorithmes de PU learning. Des variantes robustes ont été développées pour gérer ce bruit, souvent en incorporant des hypothèses supplémentaires sur le processus de bruit.
Les extensions du PU learning incluent le PU learning semi-supervisé, où un petit nombre d'étiquettes négatives est également disponible, et le PU learning avec plusieurs ensembles positifs, où différentes sources d'exemples positifs peuvent avoir des distributions différentes. Ces extensions visent à assouplir les hypothèses strictes du cadre PU de base et à améliorer l'applicabilité à des problèmes réels complexes.
Relation avec d'autres paradigmes d'apprentissage
Le PU learning est étroitement lié à d'autres paradigmes d'apprentissage faiblement supervisé, tels que l'apprentissage semi-supervisé et l'apprentissage avec des étiquettes bruitées. Dans l'apprentissage semi-supervisé, des exemples étiquetés positifs et négatifs sont disponibles, ainsi que des données non étiquetées, tandis que le PU learning manque entièrement d'étiquettes négatives. Dans l'apprentissage avec des étiquettes bruitées, l'ensemble d'entraînement contient à la fois des étiquettes positives et négatives, mais certaines étiquettes sont incorrectes. Le PU learning peut être considéré comme un cas extrême d'étiquettes bruitées, où toutes les étiquettes négatives sont manquantes et certaines instances non étiquetées sont en réalité positives.
La connexion avec la classification à une classe est également notable. La classification à une classe vise à modéliser la distribution de la classe positive et à identifier les valeurs aberrantes, ce qui est similaire au PU learning lorsque l'ensemble non étiqueté est supposé contenir principalement des négatifs. Cependant, le PU learning tient explicitement compte de la présence de positifs dans l'ensemble non étiqueté, ce qui le rend plus général.
Directions futures
Alors que l'intelligence artificielle continue de progresser, le PU learning est intégré dans des modèles plus complexes, notamment les grands modèles de langage et les architectures basées sur les transformeurs. Ces modèles peuvent exploiter de grandes quantités de données textuelles non étiquetées, et le PU learning fournit un cadre pour les affiner avec seulement un petit ensemble d'exemples positifs. Cela est particulièrement pertinent dans des domaines comme l'analyse de documents juridiques et l'exploration de la littérature scientifique, où les exemples positifs sont rares mais les corpus non étiquetés sont vastes.
La recherche explore également l'utilisation du PU learning dans l'apprentissage par renforcement et l'apprentissage en ligne, où la distribution des données peut changer au fil du temps. De plus, le développement de garanties théoriques pour le PU learning sous diverses hypothèses reste un domaine d'étude actif, avec pour objectif de fournir des méthodes robustes et fiables aux praticiens.