Überwachtes Lernen ist eine Kategorie des maschinellen Lernens, bei der ein Modell auf einem Datensatz von Beispielen trainiert wird, bei dem jedes Beispiel eine Eingabe mit einer bekannten korrekten Ausgabe, auch Label genannt, paart, und das Ziel des Modells ist es, eine allgemeine Abbildung von Eingaben zu Ausgaben zu lernen, die auf neue, unbekannte Beispiele verallgemeinert. Das Wort „überwacht“ bezieht sich darauf, dass ein beschrifteter Lösungsschlüssel, der typischerweise von menschlichen Annotatoren erstellt oder aus historischen Aufzeichnungen gesammelt wird, den Lernprozess überwacht, indem er dem Modell genau sagt, was die korrekte Antwort für jedes Trainingsbeispiel hätte sein sollen.
Kernaufgaben
Probleme des überwachten Lernens fallen grob in zwei Kategorien. Klassifikationsaufgaben sagen eine diskrete Kategorie voraus, wie etwa ob eine E-Mail Spam ist, welches Objekt in einem Bild erscheint, oder welche Stimmung eine Rezension ausdrückt. Regressionsaufgaben sagen einen kontinuierlichen numerischen Wert voraus, wie etwa einen Hauspreis oder eine Temperaturvorhersage. Beide werden auf dieselbe Weise trainiert: das Modell macht eine Vorhersage, eine Verlustfunktion misst, wie weit diese Vorhersage vom wahren Label entfernt ist, und Gradientenabstieg, berechnet über Rückpropagierung im Fall eines neuronalen Netzes, passt die Parameter des Modells an, um diesen Fehler zu reduzieren, wiederholt über viele Beispiele und Durchläufe durch die Daten.
Geschichte
Überwachtes Lernen geht dem Deep Learning um Jahrzehnte voraus und umfasst klassische Algorithmen wie lineare und logistische Regression, Entscheidungsbäume, Support-Vektor-Maschinen, die größtenteils von Vladimir Vapnik entwickelt und formalisiert wurden, sowie k-nächste-Nachbarn. Die Technik gewann enorm an Dynamik mit der Verfügbarkeit großer beschrifteter Datensätze und billiger Rechenleistung; der ImageNet-Wettbewerb 2012, bei dem AlexNet dramatisch besser abschnitt als frühere Methoden auf einem großen beschrifteten Bilddatensatz, wird weithin dafür anerkannt, zu demonstrieren, dass überwachtes Deep Learning skalieren konnte, um handgefertigte Ansätze zu übertreffen, was die breitere Deep-Learning-Wiederbelebung auslöste.
.
Daten und Beschriftung
Der zentrale praktische Engpass des überwachten Lernens ist die Notwendigkeit beschrifteter Daten, die oft teuer und langsam zu produzieren sind, da menschliche Annotatoren große Zahlen von Beispielen kategorisieren, transkribieren oder anderweitig markieren müssen. Diese Einschränkung motivierte die Entwicklung alternativer Paradigmen, die die Notwendigkeit von Labels reduzieren oder eliminieren, einschließlich unüberwachtem Lernen, das Struktur in unbeschrifteten Daten findet, und selbstüberwachtem Lernen, das sein eigenes Trainingssignal aus unbeschrifteten Daten erzeugt, ein Ansatz, der dem Vortraining moderner großer Sprachmodelle zugrunde liegt. Überwachtes Lernen bleibt jedoch in anderen Phasen der modernen KI-Pipeline wesentlich, am bemerkenswertesten beim überwachten Feinabstimmung, bei dem ein vortrainiertes Modell mithilfe beschrifteter Beispiele gewünschten Eingabe-Ausgabe-Verhaltens angepasst wird, ein Schritt, der verwendet wird, um ein Basissprachmodell in einen anweisungsbefolgenden Assistenten zu verwandeln.
Bewertung
Die Leistung eines Modells beim überwachten Lernen wird typischerweise auf einem zurückgehaltenen Testset gemessen, das nicht während des Trainings verwendet wurde, um abzuschätzen, wie gut es verallgemeinert, anstatt lediglich seine Trainingsdaten auswendig zu lernen, eine Fehlerart, die Überanpassung genannt wird. Übliche Bewertungsmetriken umfassen Genauigkeit, Präzision, Recall, und F1-Score für Klassifikation, sowie mittleren quadratischen Fehler für Regression, wobei die geeignete Metrik stark von der Aufgabe und den relativen Kosten verschiedener Arten von Fehlern abhängt, wie etwa falsch positiven versus falsch negativen in einer medizinischen Diagnoseumgebung.
Bedeutung und Einschränkungen
Überwachtes Lernen war jahrzehntelang das dominante Paradigma hinter den meisten eingesetzten Systemen des maschinellen Lernens, von Spamfiltern und Kreditbewertung bis hin zur medizinischen Bilddiagnose und Spracherkennung. Seine zentrale Einschränkung ist eine strikte Abhängigkeit von der Qualität und Abdeckung seiner beschrifteten Trainingsdaten: ein Modell kann nur so gut sein wie seine Labels, und Labels, die historische menschliche Vorurteile oder unvollständige Abdeckung realer Szenarien widerspiegeln, werden ein Modell produzieren, das diese Mängel erbt oder verstärkt, ein Anliegen, das zentral für die Forschung zu algorithmischer Verzerrung ist. Da unbeschriftete und selbstüberwachte Ansätze gereift sind, ist überwachtes Lernen zunehmend eine Stufe in einer größeren Pipeline geworden, anstatt des gesamten Trainingsprozesses für die leistungsfähigsten modernen KI-Systeme.