WizardLM ist eine Familie von großen Sprachmodellen, die von Microsoft Research Asia entwickelt wurde. Das Projekt führte die Evolve-Instruct-Methode ein, eine Technik zur automatischen Generierung komplexer Instruktionsdaten, die beim maschinellen Lernen Feintuning verwendet wird. Das erste WizardLM-Modell wurde 2023 veröffentlicht und basierte auf der LLaMA-Architektur, einem Transformer-Modell, das auf Multi-Head-Attention und Layer-Normalisierung beruht.
Der Name „WizardLM“ spiegelt das Ziel wider, Modellen die Bewältigung komplexer Benutzeranweisungen zu ermöglichen, ähnlich der Expertise eines Zauberers. Die Modelle sind Teil des breiteren Feldes der generativen KI und bauen auf Fortschritten in der Forschung zu künstlicher Intelligenz auf. WizardLM wurde entwickelt, um die Herausforderung der Instruktionsbefolgung zu adressieren, bei der Modelle Benutzeranfragen mit hoher Genauigkeit interpretieren und ausführen müssen.
Hintergrund und Motivation
Instruktionstuning ist eine gängige Praxis zur Anpassung von neuronalen Netzen an die Befolgung von Benutzeraufforderungen. In diesem Prozess wird ein Basismodell auf Paaren von Anweisungen und gewünschten Antworten feinabgestimmt. Das manuelle Erstellen vielfältiger und komplexer Anweisungen ist jedoch arbeitsintensiv und führt oft zu Datensätzen, denen Tiefe fehlt. WizardLM adressiert dies, indem es ein KI-System verwendet, um einfache Seed-Anweisungen in komplexere Formen zu entwickeln. Dieser Ansatz ist verwandt mit Curriculum-Lernen, bei dem Modelle auf zunehmend schwierigeren Beispielen trainiert werden. Das Ziel ist es, das Modell einer breiteren Palette von Denkmustern und Einschränkungen auszusetzen, wodurch seine Fähigkeit verbessert wird, reale Benutzeranfragen zu bewältigen.
Die Evolve-Instruct-Methode wurde in einem Papier mit dem Titel „WizardLM: Empowering Large Language Models to Follow Complex Instructions“ vorgestellt, das im April 2023 auf arXiv veröffentlicht wurde. Die Autoren waren mit Microsoft Research Asia verbunden. Das Papier schlug einen zweistufigen Prozess vor: tiefe Evolution und in die Tiefe gehende Evolution. Bei der tiefen Evolution generiert das Modell neue Anweisungen, indem es Einschränkungen hinzufügt, die Argumentation vertieft oder Eingaben verkompliziert. Bei der in die Tiefe gehenden Evolution schreibt das Modell bestehende Anweisungen um, um ihre Komplexität zu erhöhen. Der resultierende Datensatz wird dann verwendet, um ein Basismodell feinabzustimmen.
Evolve-Instruct-Methode
Die Evolve-Instruct-Methode verwendet ein Lehrer-Modell, wie ChatGPT, um Seed-Anweisungen durch Operationen wie das Hinzufügen von Einschränkungen, das Vertiefen der Argumentation und das Verkomplizieren von Eingaben umzuschreiben. Die entwickelten Anweisungen dienen als eine Form der Datenaugmentation für das Feintuning. Die Methode umfasst mehrere Evolutionstypen, darunter Einschränkungen hinzufügen, vertiefen, konkretisieren und Argumentationsschritte erhöhen. Zum Beispiel könnte eine einfache Anweisung wie „Schreibe ein Gedicht“ zu „Schreibe ein Gedicht im Stil von Shakespeare über einen Roboter, der lernt zu lieben“ entwickelt werden. Dies erhöht die Komplexität und Spezifität der Aufgabe.
Der Prozess ist iterativ, wobei das Modell wiederholt anspruchsvolleren Anweisungen ausgesetzt wird. Die Autoren führten auch einen Qualitätskontrollmechanismus ein, um Anweisungen herauszufiltern, die zu mehrdeutig oder unmöglich zu beantworten sind. Dies stellt sicher, dass die Trainingsdaten nützlich bleiben und die Leistung des Modells nicht verschlechtern. Die entwickelten Anweisungen werden dann mit den ursprünglichen Seed-Anweisungen kombiniert, um einen endgültigen Trainingssatz zu erstellen.
Modellversionen und Benchmarks
Das erste WizardLM-Modell, WizardLM-7B, wurde aus LLaMA-7B feinabgestimmt. Spätere Versionen umfassten WizardLM-13B und WizardLM-30B. Die Modelle wurden auf dem Evol-Instruct-Testsatz und anderen Benchmarks evaluiert. Die Autoren berichteten, dass WizardLM-7B ChatGPT bei der Befolgung komplexer Anweisungen in ihren Bewertungen übertraf. Insbesondere verwendeten sie GPT-4 als Richter, um Antworten zu vergleichen, und stellten fest, dass WizardLM-7B eine höhere Gewinnrate auf dem Evol-Instruct-Testsatz erzielte. Nachfolgende Versionen, wie WizardLM v1.1 und v1.2, enthielten weitere Verfeinerungen, einschließlich größerer Trainingsdatensätze und verbesserter Evolutionsstrategien.
Die Modellgewichte wurden öffentlich freigegeben, sodass Forscher und Entwickler sie verwenden und feinabstimmen können. WizardLM-Modelle wurden auch in verschiedene Open-Source-Projekte integriert und dienten als Baselines für spätere Instruktionsbefolgungsmodelle. Ab 2024 umfasst die WizardLM-Familie Modelle verschiedener Größen, und die Evolve-Instruct-Methode wurde auf andere Domänen angewendet.
Auswirkungen und verwandte Arbeiten
Die Evolve-Instruct-Methode von WizardLM beeinflusste spätere Modelle, einschließlich WizardCoder für Codegenerierung und WizardMath für mathematisches Denken. Diese Modelle wandten ähnliche Evolutionstechniken auf spezialisierte Domänen an, was die Vielseitigkeit des Ansatzes demonstriert. Der Ansatz wurde von anderen Forschern auf dem Gebiet übernommen, und das Papier wurde weit verbreitet zitiert. WizardLM ist Teil eines breiteren Trends im Deep Learning, die Instruktionsbefolgung durch automatisierte Datengenerierung zu verbessern. Die Methode trug auch zur Entwicklung anspruchsvollerer Bewertungsbenchmarks für Instruktionsbefolgungsmodelle bei.