LoRA, kurz für Low-Rank Adaptation, ist eine Feinabstimmung-Technik, die ein neuronales Netz an eine neue Aufgabe anpasst, indem sie dessen ursprüngliche Gewichte einfriert und eine kleine Anzahl trainierbarer Parameter in Form von Matrizen mit niedrigem Rang injiziert. Da die hinzugefügten Matrizen im Vergleich zu den vollständigen Gewichtsmatrizen, die sie modifizieren, winzig sind, kann LoRA ein Modell mit mehreren Milliarden Parametern anpassen, während nur ein Bruchteil eines Prozents seiner Gesamtparameter trainiert und gespeichert wird, was die Feinabstimmung auf Verbraucherhardware zugänglich macht.
Geschichte
LoRA wurde in einem Papier vom Juni 2021 von Edward Hu und Mitautoren bei Microsoft eingeführt, die beobachteten, dass die Gewichtsaktualisierungen, die benötigt werden, um ein vortrainiertes Modell für eine neue Aufgabe zu spezialisieren, tendenziell einen niedrigen "intrinsischen Rang" aufweisen, was bedeutet, dass sie gut durch das Produkt zweier viel kleinerer Matrizen angenähert werden können. Anstatt eine vollständige Gewichtsmatrix direkt zu aktualisieren, lernt LoRA zwei Matrizen mit niedrigem Rang, deren Produkt zu den eingefrorenen ursprünglichen Gewichten addiert wird, und bei der Inferenz kann die Aktualisierung ohne zusätzliche Latenz wieder zusammengeführt werden. Die Technik wurde zunächst an großen Sprachmodellen wie GPT-3 demonstriert, und eine Erweiterung von 2023 namens QLoRA kombinierte sie mit 4-Bit-Quantisierung des eingefrorenen Basismodells, wodurch der Speicherbedarf für die Feinabstimmung sehr großer Modelle drastisch reduziert wurde.
Methode
Formal stellt LoRA für eine vortrainierte Gewichtsmatrix die Aktualisierung als Produkt einer Down-Projektionsmatrix und einer Up-Projektionsmatrix mit niedrigem Rang dar, skaliert mit einem Faktor und typischerweise so initialisiert, dass der Adapter zu Beginn des Trainings nichts beiträgt. Nur diese beiden kleinen Matrizen werden über gewöhnliches Gradientenabstiegsverfahren optimiert, während die ursprünglichen Gewichte fest bleiben, was auch die breiten Fähigkeiten des Basismodells vor katastrophalem Vergessen schützt. Mehrere LoRA-Adapter können unabhängig für verschiedene Aufgaben oder Stile trainiert und zur Inferenzzeit in dasselbe Basismodell ein- und ausgewechselt oder kombiniert werden, ohne das zugrunde liegende Netzwerk neu zu trainieren.
Anwendungen
Bei der Bereitstellung von großen Sprachmodellen ist LoRA eine Standardmethode, um aufgaben- oder domänenspezifische Assistenten kostengünstig zu erstellen, und es liegt einem Großteil des offenen Feinabstimmungs-Ökosystems um Modelle wie Llama zugrunde. Es wurde gleichermaßen zentral für die Bildgenerierungs-Community nach der Veröffentlichung von Stable Diffusion, wo Benutzer kleine LoRA-Dateien, oft unter 200 Megabyte, trainieren, um einem Basismodell eine bestimmte Figur, einen Kunststil oder ein Motiv anhand einiger Beispielbilder beizubringen, und sie dann auf Community-Modell-Hubs teilen und mehrere gleichzeitig mit einstellbarer Stärke kombinieren. Diese Bottom-up-Anpassungskultur, die auf leichten LoRA-Dateien aufbaut, die auf offenen Prompts und Basis-Checkpoints geschichtet sind, war ein bedeutender Treiber für das Community-Wachstum von Stable Diffusion im Vergleich zu geschlossenen, nicht anpassbaren Systemen wie frühen Midjourney.
Einschränkungen
LoRAs Annahme eines niedrigen Rangs bedeutet, dass es bei Aufgaben, die erhebliche Änderungen an den Repräsentationen des Modells erfordern, im Vergleich zur vollständigen Feinabstimmung schlechter abschneiden kann, und die Wahl des Rangs, der Teilmenge der anzupassenden Gewichtsmatrizen und des Skalierungsfaktors erfordert eine nicht triviale Abstimmung. Da es nur bestehende Repräsentationen modifiziert, anstatt neues Wissen in großem Umfang hinzuzufügen, ist LoRA im Allgemeinen besser für die Anpassung von Stil, Format und Verhalten geeignet als dafür, dem Modell große Mengen neuer faktischer Inhalte beizubringen, eine Lücke, die oft stattdessen durch retrieval-gestützte Generierung oder die Fortsetzung des vollständigen Vortrainings gefüllt wird.