Positive-Unlabeled-Learning, oft als PU-Learning abgekürzt, ist ein Teilgebiet des maschinellen Lernens, das sich mit dem Problem der binären Klassifikation befasst, wenn nur positive Beispiele und unbeschriftete Daten verfügbar sind. Im Gegensatz zum standardmäßigen überwachten Lernen, das sowohl positiv als auch negativ beschriftete Instanzen erfordert, operiert PU-Learning unter der Einschränkung, dass negative Beispiele entweder fehlen oder nicht explizit identifiziert sind. Diese Situation tritt in vielen realen Anwendungen auf, in denen das Beschaffen zuverlässiger negativer Beschriftungen schwierig, teuer oder unpraktisch ist. Das Ziel ist es, einen Klassifikator zu bauen, der zwischen positiven und negativen Instanzen unterscheiden kann, trotz des Fehlens expliziter negativer Trainingsdaten.
Das formale Problem wurde erstmals in den frühen 2000er Jahren artikuliert, mit grundlegender Arbeit von Bing Liu und Kollegen an der University of Illinois at Chicago. Ihr Paper von 2002 führte das Konzept des Lernens aus positiven und unbeschrifteten Beispielen ein und schlug Algorithmen vor, die unbeschriftete Daten als eine Mischung aus positiven und negativen Instanzen behandeln. Seitdem ist PU-Learning zu einem wichtigen Werkzeug in Bereichen wie Informationsabruf, Bioinformatik und Betrugserkennung geworden, wo negative Beschriftungen oft mehrdeutig oder unvollständig sind.
Problemformulierung
In einer standardmäßigen binären Klassifikationsaufgabe besteht ein Trainingssatz aus beschrifteten Paaren (x, y), wobei y ∈ {+1, -1}. Im PU-Learning wird der Trainingssatz in zwei Teilmengen unterteilt: eine Menge positiver Beispiele P, in der alle Instanzen bekanntermaßen positiv sind, und eine Menge unbeschrifteter Beispiele U, die sowohl positive als auch negative Instanzen enthalten kann. Die zentrale Herausforderung besteht darin, dass die unbeschriftete Menge eine Mischung ist und der Anteil positiver Instanzen in U unbekannt ist. Dies macht das Lernproblem grundlegend anders als das standardmäßige überwachte Lernen, da das Fehlen negativer Beschriftungen eine Verzerrung einführt, die korrigiert werden muss.
Eine häufige Annahme im PU-Learning ist, dass die beschriftete positive Menge eine Zufallsstichprobe aus der wahren positiven Verteilung ist, oft als "Selected Completely At Random" (SCAR)-Annahme bezeichnet. Unter dieser Annahme ist die Wahrscheinlichkeit, dass eine positive Instanz beschriftet wird, konstant und unabhängig von ihren Merkmalen. Dies ermöglicht die Entwicklung unverzerrter Schätzer des Klassifikationsrisikos, die mit Techniken der statistischen Lerntheorie optimiert werden können.
Ansätze und Algorithmen
Mehrere Familien von Algorithmen wurden entwickelt, um PU-Learning zu bewältigen. Ein früher Ansatz ist die Zwei-Schritte-Strategie, die zuerst zuverlässige negative Beispiele aus der unbeschrifteten Menge mithilfe einer Heuristik identifiziert und dann einen standardmäßigen Klassifikator auf den positiven und zuverlässigen negativen Beispielen trainiert. Diese Methode, die von Liu und seinen Mitarbeitern populär gemacht wurde, verwendet oft eine Spy-Technik oder ein distanzbasiertes Kriterium, um wahrscheinliche Negative auszuwählen. Diese Methoden können jedoch empfindlich auf die Qualität der anfänglichen Negativauswahl reagieren.
Ein prinzipiellerer Ansatz basiert auf verzerrtem Lernen, bei dem die unbeschrifteten Daten als verrauschte negative Beispiele behandelt werden. Der Klassifikator wird trainiert, um eine gewichtete Verlustfunktion zu minimieren, die berücksichtigt, dass einige unbeschriftete Instanzen tatsächlich positiv sind. Dies kann als kosten sensitives Lernproblem formuliert werden, bei dem die Kosten einer Fehlklassifikation einer positiven Instanz in der unbeschrifteten Menge basierend auf der geschätzten A-priori-Wahrscheinlichkeit von Positiven angepasst werden.
In den letzten Jahren wurden Deep-Learning-Methoden auf PU-Learning angewendet, insbesondere unter Verwendung von neuronalen Netzen. Eine bemerkenswerte Entwicklung ist der unverzerrte Risikoschätzer, der 2014 von du Plessis, Niu und Sugiyama vorgeschlagen wurde und einen theoretisch fundierten Weg bietet, Klassifikatoren ohne negative Beschriftungen zu trainieren. Dieser Schätzer wurde erweitert, um nicht-konvexe Verluste zu behandeln, und hat sich in hochdimensionalen Umgebungen wie Bildklassifikation und Textklassifikation als effektiv erwiesen.
Anwendungen
PU-Learning findet breite Anwendung in Bereichen, in denen negative Beschriftungen knapp oder unzuverlässig sind. Im Informationsabruf wird es für Dokumentklassifikation und Spam-Filterung verwendet, wo nur eine kleine Menge relevanter Dokumente bekannt ist und der Rest unbeschriftet ist. In der Bioinformatik wird PU-Learning angewendet, um Protein-Protein-Interaktionen und Genfunktionen vorherzusagen, wo experimentell bestätigte positive Interaktionen verfügbar sind, aber negative Interaktionen selten verifiziert werden.
Eine weitere bedeutende Anwendung liegt in der Betrugserkennung und Anomalieerkennung. Zum Beispiel bei der Erkennung von Kreditkartenbetrug sind als betrügerisch beschriftete Transaktionen selten und oft unvollständig, während die überwiegende Mehrheit der Transaktionen unbeschriftet ist. PU-Learning ermöglicht es, Modelle auf bestätigten Betrugsfällen und dem großen Pool unbeschrifteter Transaktionen zu trainieren, wodurch die Erkennungsraten verbessert werden, ohne eine erschöpfende Beschriftung zu erfordern. Ähnlich kann PU-Learning in der medizinischen Diagnose verwendet werden, um Patienten mit einer seltenen Krankheit basierend auf einer kleinen Menge bestätigter Fälle und einer großen Menge unbeschrifteter Patientendaten zu identifizieren.
Herausforderungen und Erweiterungen
Trotz seiner Nützlichkeit steht PU-Learning vor mehreren Herausforderungen. Die Hauptschwierigkeit ist die Schätzung der Klassen-A-priori-Wahrscheinlichkeit, d.h. des Anteils positiver Instanzen in der unbeschrifteten Menge. Eine falsche Schätzung kann zu verzerrten Klassifikatoren und schlechter Leistung führen. Forscher haben verschiedene Methoden zur A-priori-Schätzung vorgeschlagen, einschließlich Kreuzvalidierung und Moment-Matching-Techniken, aber das Problem bleibt in vielen praktischen Umgebungen offen.
Eine weitere Herausforderung ist das Vorhandensein von Beschriftungsrauschen in der positiven Menge. In einigen Anwendungen können die beschrifteten positiven Beispiele selbst falsch beschriftet sein, was die Leistung von PU-Learning-Algorithmen beeinträchtigen kann. Robuste Varianten wurden entwickelt, um solches Rauschen zu behandeln, oft durch die Einbeziehung zusätzlicher Annahmen über den Rauschprozess.
Erweiterungen des PU-Learnings umfassen semi-überwachtes PU-Learning, bei dem auch eine kleine Anzahl negativer Beschriftungen verfügbar ist, und PU-Learning mit mehreren positiven Mengen, bei denen verschiedene Quellen positiver Beispiele unterschiedliche Verteilungen haben können. Diese Erweiterungen zielen darauf ab, die strengen Annahmen des grundlegenden PU-Settings zu lockern und die Anwendbarkeit auf komplexe reale Probleme zu verbessern.
Beziehung zu anderen Lernparadigmen
PU-Learning ist eng mit anderen schwach überwachten Lernparadigmen verwandt, wie semi-überwachtem Lernen und Lernen mit verrauschten Beschriftungen. Beim semi-überwachten Lernen sind sowohl positiv als auch negativ beschriftete Beispiele verfügbar, zusammen mit unbeschrifteten Daten, während PU-Learning negative Beschriftungen vollständig fehlen. Beim Lernen mit verrauschten Beschriftungen enthält der Trainingssatz sowohl positive als auch negative Beschriftungen, aber einige Beschriftungen sind falsch. PU-Learning kann als ein extremer Fall von verrauschten Beschriftungen betrachtet werden, bei dem alle negativen Beschriftungen fehlen und einige unbeschriftete Instanzen tatsächlich positiv sind.
Die Verbindung zur One-Class-Klassifikation ist ebenfalls bemerkenswert. One-Class-Klassifikation zielt darauf ab, die positive Klassenverteilung zu modellieren und Ausreißer zu identifizieren, was dem PU-Learning ähnelt, wenn angenommen wird, dass die unbeschriftete Menge hauptsächlich Negative enthält. PU-Learning berücksichtigt jedoch explizit das Vorhandensein von Positiven in der unbeschrifteten Menge, was es allgemeiner macht.
Zukünftige Richtungen
Da künstliche Intelligenz weiter voranschreitet, wird PU-Learning in komplexere Modelle integriert, einschließlich großer Sprachmodelle und Transformer-basierter Architekturen. Diese Modelle können große Mengen unbeschrifteter Textdaten nutzen, und PU-Learning bietet einen Rahmen für deren Feinabstimmung mit nur einer kleinen Menge positiver Beispiele. Dies ist besonders relevant in Bereichen wie juristischer Dokumentenanalyse und wissenschaftlicher Literaturrecherche, wo positive Beispiele knapp sind, aber unbeschriftete Korpora umfangreich sind.
Die Forschung untersucht auch die Verwendung von PU-Learning in Reinforcement-Learning- und Online-Learning-Umgebungen, in denen sich die Datenverteilung im Laufe der Zeit ändern kann. Darüber hinaus bleibt die Entwicklung theoretischer Garantien für PU-Learning unter verschiedenen Annahmen ein aktives Forschungsgebiet, mit dem Ziel, robuste und zuverlässige Methoden für Praktiker bereitzustellen.