Feinabstimmung ist die Praxis, ein Modell, das bereits trainiert wurde, in der Regel auf einem großen, allgemeinen Datensatz während des Vortrainings, weiter auf einem kleineren, spezifischeren Datensatz zu trainieren, damit es sich an eine bestimmte Aufgabe, Domäne oder einen bestimmten Stil anpasst. Die Technik beruht auf dem Prinzip des Transferlernens: Ein Modell, das bereits breite statistische Strukturen gelernt hat, sei es visuelle Merkmale aus Bildern oder sprachliche Muster aus Texten, benötigt vergleichsweise wenig zusätzliche Daten und Rechenleistung, um sich zu spezialisieren, im Vergleich zum Training eines Modells ähnlicher Qualität von Grund auf.
Geschichte
Feinabstimmung wurde nach dem ImageNet-Durchbruch 2012 zur Standardpraxis in der Computer Vision, als Forscher feststellten, dass auf ImageNet trainierte konvolutionale Netzwerke gut auf kleinere, unabhängige Bildklassifizierungsaufgaben übertragbar waren, mit nur leichtem Nachtraining der letzten Schichten. In der Verarbeitung natürlicher Sprache gewann die Technik mit BERT 2018 neue Bedeutung, dessen „Pretrain-then-fine-tune“-Paradigma, das einen einzelnen vortrainierten Encoder an viele nachgelagerte Aufgaben wie Sentimentanalyse oder Fragenbeantwortung anpasst, für mehrere Jahre zum dominierenden Arbeitsablauf wurde. Mit dem Aufkommen großer großer Sprachmodelle verlagerte sich die Feinabstimmung von der Anpassung von Modellen für enge Klassifizierungsaufgaben hin zur Instruktions-Feinabstimmung, bei der ein Basismodell, das nur darauf trainiert wurde, das nächste Token vorherzusagen, an kuratierten Beispielen von Anweisungen und gewünschten Antworten angepasst wird, um sich wie ein hilfreicher Assistent zu verhalten, ein Schritt, der beim Training von Systemen wie ChatGPT verwendet wird.
Methoden
Die vollständige Feinabstimmung aktualisiert alle Parameter eines Modells und erfordert für die größten Modelle erhebliche Rechenleistung und Speicher, da sie das Speichern von Gradienten und Optimiererzuständen für jedes Gewicht beinhaltet. Diese Kosten trieben die Entwicklung von parameter-effizienten Feinabstimmungsmethoden voran, die den Großteil des ursprünglichen Modells einfrieren und nur eine kleine Anzahl zusätzlicher Parameter trainieren. Die am weitesten verbreitete dieser Methoden ist LoRA, die kleine Matrizen mit niedrigem Rang in die Schichten eines Modells einfügt und nur diese trainiert, wodurch die Speicheranforderungen drastisch reduziert werden, während bei vielen Aufgaben Ergebnisse nahe der vollständigen Feinabstimmung erzielt werden. Andere Ansätze umfassen Adapter-Schichten, Prompt-Tuning und Prefix-Tuning, die jeweils unterschiedliche Mengen an Flexibilität gegen Effizienz abwägen.
Überwachte Feinabstimmung (SFT) trainiert ein Modell auf beschrifteten Eingabe-Ausgabe-Paaren und ist der Standard-Erstschritt, um ein Basis-LLM in einen anweisungsbefolgenden Assistenten zu verwandeln. Darauf folgen oft präferenzbasierte Methoden wie RLHF oder Direct Preference Optimization, die das Verhalten des Modells weiter verfeinern, indem sie menschliche Urteile darüber nutzen, welche von zwei Ausgaben besser ist, anstatt eines einzelnen korrekten Labels.
Feinabstimmung versus andere Ansätze
Feinabstimmung wird häufig mit retrieval-gestützter Generierung verglichen, um ein Modell dazu zu bringen, genauere oder spezialisierte Ausgaben zu erzeugen. Feinabstimmung ändert die internen Gewichte des Modells und eignet sich gut, um einen konsistenten Stil, ein Format oder eine spezialisierte Fähigkeit zu vermitteln; Retrieval liefert stattdessen relevante Fakten zur Inferenzzeit, ohne das Modell zu verändern, was es einfacher macht, es zu aktualisieren, wenn sich Quellinformationen ändern, und weniger anfällig dafür, die allgemeinen Fähigkeiten des Modells zu überschreiben. In der Praxis werden beide oft kombiniert, wobei ein feinabgestimmtes Modell auf abgerufene Dokumente zur Verankerung zurückgreift.
Risiken
Feinabstimmung auf einem engen Datensatz kann katastrophales Vergessen verursachen, bei dem das Modell allgemeine Fähigkeiten verliert, die es vor der Anpassung hatte, und Überanpassung an einen kleinen Feinabstimmungsdatensatz ist ein anhaltendes Risiko, insbesondere wenn die Anzahl der Beispiele im Verhältnis zur Kapazität des Modells gering ist. Feinabstimmung auf ungefilterten oder schlecht kuratierten Daten hat auch gezeigt, dass sie das Sicherheitstraining eines Modells schwächt, ein Anliegen, das Anbieter dazu veranlasst hat, den Zugang zur Feinabstimmung ihrer leistungsfähigsten Modelle einzuschränken oder zu überwachen.