Self-supervised learning ist ein Trainingsansatz, bei dem ein Modell aus Daten lernt, die keine von Menschen bereitgestellten Labels enthalten, indem es sein eigenes Überwachungssignal direkt aus der Struktur der Daten selbst konstruiert. Anstatt, wie beim überwachten Lernen, für jede Eingabe das korrekte Ergebnis vorgegeben zu bekommen, wird dem Modell eine Aufgabe gestellt, etwa das Vorhersagen eines verborgenen oder fehlenden Teils der Daten aus dem Rest. Das „Label“ für diese Aufgabe ist einfach der tatsächliche Wert, der verborgen war und bereits im rohen, unbeschrifteten Datensatz vorhanden ist – ohne zusätzliche Annotationskosten.
Kernidee und Ziele
Das kanonische Beispiel ist die Vorhersage des nächsten Tokens: Bei einer Textsequenz, aus der das letzte Wort entfernt wurde, wird ein Modell trainiert, dieses Wort vorherzusagen. Da gewöhnlicher Text bereits sein eigenes nächstes Wort enthält, muss kein Mensch jemals etwas beschriften. Genau dieses Ziel wird verwendet, um moderne große Sprachmodelle zu vortrainieren, die aus riesigen Mengen rohen Texts lernen, der aus Quellen wie Common Crawl gesammelt wurde, indem sie wiederholt das nächste Token in einer Sequenz vorhersagen. Ein verwandtes Ziel, die Vorhersage maskierter Tokens, verbirgt eine zufällige Teilmenge von Tokens innerhalb einer Sequenz und trainiert das Modell, sie aus dem umgebenden Kontext wieder aufzufüllen; dies war das Vortrainingsziel hinter BERT. In der Computer Vision und beim multimodalen Lernen umfassen selbstüberwachte Ziele die Vorhersage eines maskierten Bildbereichs sowie kontrastive Ziele, die von CLIP verwendet werden und ein Modell trainieren, zu erkennen, welche Paare aus Bild und Text (oder zwei augmentierte Ansichten desselben Bildes) zusammengehören und welche nicht zusammenpassen.
Beziehung zu überwachtem und unüberwachtem Lernen
Self-supervised learning sitzt konzeptionell zwischen überwachtem Lernen und unüberwachtem Lernen. Es arbeitet wie das unüberwachte Lernen mit unbeschrifteten Daten, definiert jedoch eine explizite Vorhersageaufgabe mit einer klaren richtigen Antwort und wird mit denselben Verlustfunktionen, Gradientenabstieg und Backpropagation-Mechanismen optimiert, die auch beim gewöhnlichen überwachten Training verwendet werden. Einige Forscher behandeln es als eine Unterart des unüberwachten Lernens; andere betrachten es als eigene Kategorie, gerade weil seine Trainingsmechanik dem überwachten Lernen so stark ähnelt und sich nur darin unterscheidet, woher die Labels stammen.
Warum es wichtig ist
Self-supervised learning löste einen grundlegenden Engpass, der das überwachte Lernen eingeschränkt hatte: die Knappheit und Kosten menschlich beschrifteter Daten. Da das Internet und andere große Korpora bereits enorme Mengen unbeschrifteten Texts, Bildern, Audios und Videos enthalten, ermöglichten selbstüberwachte Ziele ein Training von Modellen in einem Umfang, den beschriftete Datensätze nie erreichen könnten – eine Verschiebung, die direkt die Skalierung hinter der modernen Ära der Foundation-Modelle ermöglichte. Es ist der Mechanismus, durch den Transferlernen für Sprache so effektiv wurde: Ein Modell, das mit einem selbstüberwachten Ziel auf breitem Text vortrainiert wurde, lernt Repräsentationen, die allgemein genug sind, um sich mit vergleichsweise wenig aufgabenspezifischem Feintuning gut auf eine breite Palette nachgelagerter Aufgaben übertragen zu lassen.
Bemerkenswerte Meilensteine und Auswirkungen
Das Wortvorhersageziel von Word2vec aus dem Jahr 2013 ist ein frühes einflussreiches Beispiel für selbstüberwachtes Lernen in der Sprache, obwohl der Begriff damals noch nicht weit verbreitet war. Der Ansatz wurde nach BERT im Jahr 2018 und der GPT-Serie zentral für das Vokabular und die Strategie des Fachgebiets, und bis in die frühen 2020er Jahre war selbstüberwachtes Vortraining gefolgt von überwachtem oder präferenzbasiertem Feintuning zum Standardrezept für praktisch jedes große Sprachmodell geworden. Dasselbe Paradigma erstreckte sich über Text hinaus: Selbstüberwachte Videomodelle, die zukünftige Frames vorhersagen, sind ein grundlegender Bestandteil der Forschung zu Weltmodellen für Robotik und autonome Systeme. Die zentrale Einschränkung des selbstüberwachten Lernens besteht darin, dass die Qualität der resultierenden Repräsentationen weiterhin von der Qualität, dem Umfang und der Vielfalt der zugrunde liegenden unbeschrifteten Daten abhängt, und Verzerrungen oder Lücken in diesen Daten werden genauso in das Modell aufgenommen wie beim überwachten Training.