Transfer Learning (TL) ist eine Technik im maschinellen Lernen, bei der Wissen, das aus einer Aufgabe gewonnen wurde, wiederverwendet wird, um die Leistung bei einer verwandten Aufgabe zu steigern. Beispielsweise könnte bei der Bildklassifikation das Wissen, das beim Erkennen von Autos erlernt wurde, auf den Versuch angewendet werden, Lastwagen zu erkennen. Dieses Thema ist mit der psychologischen Literatur zum Lerntransfer verwandt, obwohl die praktischen Verbindungen zwischen den beiden Bereichen begrenzt sind. Die Wiederverwendung oder Übertragung von Informationen aus zuvor gelernten Aufgaben auf neue Aufgaben hat das Potenzial, die Lerneffizienz erheblich zu verbessern. Da Transfer Learning das Training mit mehreren Zielfunktionen nutzt, ist es mit kostenbewusstem maschinellem Lernen und multiobjektiver Optimierung verwandt.
In der modernen Praxis ist die vorherrschende Form des Transfer Learnings das Vortraining eines großen neuronalen Netzes auf einer breiten, datenreichen Quellaufgabe, gefolgt von einer Feinabstimmung auf einer engeren Zielaufgabe mit begrenzten Daten. Dieser Ansatz untermauert viele Erfolge im Deep Learning, insbesondere in der Verarbeitung natürlicher Sprache (wie bei großen Sprachmodellen zu sehen) und im Computersehen. Der Begriff „Transfer-Learning-Details“ bezieht sich oft auf die praktischen und theoretischen Überlegungen, die in diesen Feinabstimmungsprozess einfließen.
Geschichte
1976 veröffentlichten Bozinovski und Fulgosi ein Papier, das sich mit Transfer Learning im Training neuronaler Netze befasste. Das Papier lieferte ein mathematisches und geometrisches Modell des Themas. 1981 betrachtete ein Bericht die Anwendung von Transfer Learning auf einen Datensatz von Bildern, die Buchstaben von Computerterminals darstellten, und demonstrierte experimentell positives und negatives Transfer Learning. Negativer Transfer tritt auf, wenn das Quellwissen die Zielleistung beeinträchtigt.
1992 formulierte Lorien Pratt den auf Unterscheidbarkeit basierenden Transfer (DBT)-Algorithmus. Bis 1998 hatte sich das Feld um Multi-Task-Learning sowie formalere theoretische Grundlagen erweitert. Einflussreiche Veröffentlichungen zum Transfer Learning umfassen das Buch Learning to Learn von 1998, eine Übersichtsarbeit von 2009 und eine Übersichtsarbeit von 2019.
Andrew Ng sagte in seinem NIPS-2016-Tutorial, dass Transfer Learning nach dem überwachten Lernen der nächste Treiber für den kommerziellen Erfolg des maschinellen Lernens werden würde. In dem Papier „Rethinking Pre-Training and Self-Training“ von 2020 berichteten Zoph et al., dass Vortraining in einigen Umgebungen die Genauigkeit beeinträchtigen kann, und befürworteten stattdessen Self-Training, was die nuancierten Kompromisse des Transfer Learnings hervorhebt.
Definition
Die Definition von Transfer Learning wird in Bezug auf Domänen und Aufgaben gegeben. Eine Domäne D besteht aus: einem Merkmalsraum X und einer Randwahrscheinlichkeitsverteilung P(X), wobei X = {x_1, ..., x_n} ∈ X. Gegeben eine spezifische Domäne D = {X, P(X)}, besteht eine Aufgabe aus zwei Komponenten: einem Labelraum Y und einer objektiven Vorhersagefunktion f: X → Y. Die Funktion f sagt das Label f(x) einer neuen Instanz x voraus. Diese Aufgabe, bezeichnet als T = {Y, f(x)}, wird aus Trainingsdaten gelernt, die aus Paaren {x_i, y_i} bestehen.
Gegeben eine Quelldomäne D_S und eine Lernaufgabe T_S sowie eine Zieldomäne D_T und eine Lernaufgabe T_T, wobei D_S ≠ D_T oder T_S ≠ T_T, zielt Transfer Learning darauf ab, das Lernen der Zielvorhersagefunktion f_T(·) in D_T mithilfe des Wissens in D_S und T_S zu verbessern. Die Schlüsselannahme ist, dass die Quell- und Zielaufgaben ausreichend verwandt sind, sodass gemeinsames Wissen übertragen werden kann.
Mechanismus der Feinabstimmung
Die häufigste Implementierung von Transfer Learning im Deep Learning ist die Feinabstimmung. Ein Modell wird zunächst auf einem großen, allgemeinen Datensatz (der Quellaufgabe) vortrainiert. Anschließend werden seine Gewichte als Initialisierung für das Training auf der Zielaufgabe verwendet. Die unteren Schichten des vortrainierten Netzwerks, die typischerweise generische Merkmale lernen, werden oft eingefroren oder mit einer niedrigen Lernrate angepasst, um die gelernten Darstellungen zu bewahren, während höhere Schichten auf den Zieldaten neu trainiert werden.
Die Feinabstimmung kann auf das gesamte Netzwerk oder nur auf eine Teilmenge von Schichten angewendet werden. Wenn der Zieldatensatz klein ist, frieren Praktiker oft die meisten Schichten ein, um Überanpassung zu vermeiden, und aktualisieren nur den finalen Klassifikationskopf. Bei größeren Zieldatensätzen ist eine aggressivere Feinabstimmung möglich. Techniken wie Dropout, Batch-Normalisierung und Layer-Normalisierung werden während der Feinabstimmung häufig verwendet, um das Modell zu regularisieren.
Arten von Transfer Learning
Transfer Learning kann basierend auf dem Grad der Übereinstimmung zwischen Quell- und Zieldomänen und -aufgaben kategorisiert werden. Induktives Transfer Learning tritt auf, wenn sich die Quell- und Zielaufgaben unterscheiden, selbst wenn die Domänen gleich sind. Transduktives Transfer Learning tritt auf, wenn sich die Domänen unterscheiden, die Aufgaben jedoch gleich sind. Unüberwachtes Transfer Learning wird angewendet, wenn sich sowohl Aufgaben als auch Domänen unterscheiden, aber keine gelabelten Daten verfügbar sind.
In der Praxis verwenden die meisten Deep-Learning-Anwendungen induktives Transfer Learning mit identischen Merkmalsräumen - zum Beispiel das Vortraining eines Transformers auf generischem Text und die Feinabstimmung auf Sentimentanalyse. Multi-Task-Learning, bei dem ein Modell gleichzeitig auf mehreren Zielen trainiert wird, ist eng verwandt und teilt mathematische Grundlagen mit Transfer Learning.
Anwendungen
Transfer Learning ist in KI-Anwendungen allgegenwärtig. Im Computersehen wurden auf ImageNet vortrainierte Modelle für die medizinische Bildanalyse, Objekterkennung und autonomes Fahren feinabgestimmt. In der Verarbeitung natürlicher Sprache haben OpenAI und Google DeepMind große vortrainierte Modelle veröffentlicht, die Forscher für spezifische Aufgaben wie Fragenbeantwortung oder Übersetzung feinabstimmen.
Spezifische Beispiele umfassen BERT für Textverständnis, das auf maskierter Sprachmodellierung vortrainiert und für Sentimentklassifikation oder Erkennung benannter Entitäten feinabgestimmt wurde. Bei der Spracherkennung werden auf allgemeinem Audio vortrainierte Modelle an akustische Umgebungen angepasst. Im Verstärkungslernen kann Transfer Learning das Lernen in neuen Umgebungen beschleunigen, indem Richtlinien aus früheren Aufgaben wiederverwendet werden.
Theoretische Überlegungen
Die Effektivität von Transfer Learning hängt von der Ähnlichkeit zwischen Quell- und Zielverteilungen ab. Ein zentrales theoretisches Ergebnis ist, dass der Generalisierungsfehler bei der Zielaufgabe durch den Fehler bei der Quellaufgabe plus einen Term begrenzt ist, der die Divergenz zwischen den beiden Domänen misst. Diese Beziehung leitet praktische Entscheidungen darüber, wann Transfer Learning angewendet werden sollte.
Negativer Transfer kann auftreten, wenn das Quellwissen für die Zielaufgabe irreführend ist. Zum Beispiel kann das Vortraining auf Bildklassifikation mit vielen Klassen nicht bei einer Zielaufgabe helfen, die eine sehr unterschiedliche Labelverteilung aufweist. Domänenanpassungstechniken, wie adversariales Training, zielen darauf ab, die Domänenverschiebung zu minimieren. Im Allgemeinen betont die jüngste Forschung, dass Transfer Learning kein Allheilmittel ist; eine sorgfältige Bewertung ist erforderlich.
Optimierungstechniken
Die Feinabstimmung großer vortrainierter Modelle erfordert spezialisierte Optimierung. Der Adam-Optimierer und seine Varianten sind Standardwahl, oft mit einer niedrigeren anfänglichen Lernrate als beim Training von Grund auf. Gradient-Clipping wird häufig verwendet, um Explosionen während der Feinabstimmung zu verhindern. Curriculum-Learning kann ebenfalls angewendet werden, wobei der Zieldatensatz in zunehmender Schwierigkeit präsentiert wird.
Ein anderer Ansatz besteht darin, eine kleinere Lernrate für die vortrainierten Schichten und eine höhere für die neu initialisierten Schichten zu verwenden. Zusätzlich können Datenanreicherungstechniken wie zufälliges Zuschneiden oder Token-Masking dem Modell helfen, auf kleinen Zieldatensätzen zu generalisieren. Einige Methoden verwenden Modell-Pruning nach der Feinabstimmung, um die Modellgröße ohne signifikanten Genauigkeitsverlust zu reduzieren.
Beziehung zu großen Sprachmodellen
Der Aufstieg der großen Sprachmodelle hat Transfer Learning kritischer denn je gemacht. Modelle wie GPT-3 und Claude werden auf riesigen Korpora vortrainiert und dann für nachgelagerte Aufgaben durch Feinabstimmung oder Prompting angepasst. In einigen Fällen wird Transfer Learning in großem Maßstab durch Instruktionstuning durchgeführt, bei dem ein Modell gleichzeitig auf vielen Aufgaben feinabgestimmt wird, um die Generalisierung zu verbessern.
Verstärkungslernen aus menschlichem Feedback (RLHF) ist eine Form von Transfer Learning, bei der ein vortrainiertes Modell unter Verwendung menschlicher Präferenzen als Belohnungssignal feinabgestimmt wird. Dieser Ansatz war entscheidend für die Ausrichtung von Modellen an menschlichen Werten. Forschung von Anthropic und OpenAI veranschaulicht, wie Transfer Learning mit Sicherheit und Ausrichtung interagiert.
Herausforderungen und zukünftige Richtungen
Eine große Herausforderung sind die Rechenkosten des Vortrainings, die oft große Cluster spezialisierter Hardware wie AWS Trainium oder Google Cloud TPUs erfordern. Es gibt aktive Forschung zu effizientem Transfer Learning, einschließlich parametereffizienter Methoden wie Adaptern oder LoRA, die nur einen kleinen Bruchteil der Gewichte aktualisieren.
Ein weiteres Anliegen ist das Vergessen - wenn ein Modell auf eine neue Aufgabe feinabgestimmt wird, kann es Wissen aus der Quellaufgabe verlieren. Ansätze des kontinuierlichen Lernens zielen darauf ab, dies zu mildern. Ab den frühen 2020er-Jahren bleibt Transfer Learning ein aktives Forschungsgebiet mit nuancierten Erkenntnissen darüber, wann Vortraining hilft und wann nicht, wie von Zoph et al. hervorgehoben. Zukünftige Arbeiten könnten sich auf theoretische Garantien und bessere Methoden zur Vermeidung negativen Transfers konzentrieren.