WizardLM est une famille de grands modèles de langage développée par Microsoft Research Asia. Le projet a introduit la méthode Evolve-Instruct, une technique permettant de générer automatiquement des données d'instructions complexes utilisées dans le apprentissage automatique pour le fine-tuning. Le premier modèle WizardLM a été publié en 2023 et était basé sur l'architecture LLaMA, un modèle Transformer (architecture) qui repose sur l'attention multi-têtes et la normalisation de couches.
Le nom « WizardLM » reflète l'objectif de permettre aux modèles de gérer des instructions utilisateur complexes, semblables à l'expertise d'un magicien. Les modèles font partie du domaine plus large de l'IA générative et s'appuient sur les avancées de la recherche en intelligence artificielle. WizardLM a été conçu pour relever le défi du suivi d'instructions, où les modèles doivent interpréter et exécuter les demandes des utilisateurs avec une grande précision.
Contexte et motivation
Le réglage par instructions est une pratique courante pour adapter les réseaux de neurones à suivre les invites des utilisateurs. Dans ce processus, un modèle de base est affiné sur des paires d'instructions et de réponses souhaitées. Cependant, la création manuelle d'instructions diverses et complexes est laborieuse et aboutit souvent à des ensembles de données qui manquent de profondeur. WizardLM répond à cela en utilisant un système d'IA pour faire évoluer des instructions initiales simples vers des formes plus complexes. Cette approche est liée à l'apprentissage par curriculum, où les modèles sont entraînés sur des exemples progressivement plus difficiles. L'objectif est d'exposer le modèle à une gamme plus large de schémas de raisonnement et de contraintes, améliorant ainsi sa capacité à gérer les demandes réelles des utilisateurs.
La méthode Evolve-Instruct a été introduite dans un article intitulé « WizardLM: Empowering Large Language Models to Follow Complex Instructions », publié sur arXiv en avril 2023. Les auteurs étaient affiliés à Microsoft Research Asia. L'article proposait un processus en deux étapes : l'évolution profonde et l'évolution approfondie. Dans l'évolution profonde, le modèle génère de nouvelles instructions en ajoutant des contraintes, en approfondissant le raisonnement ou en compliquant l'entrée. Dans l'évolution approfondie, le modèle réécrit les instructions existantes pour augmenter leur complexité. L'ensemble de données résultant est ensuite utilisé pour affiner un modèle de base.
Méthode Evolve-Instruct
La méthode Evolve-Instruct utilise un modèle enseignant, tel que ChatGPT, pour réécrire les instructions initiales à travers des opérations comme l'ajout de contraintes, l'approfondissement du raisonnement et la complexification des entrées. Les instructions évoluées servent de forme de augmentation de données pour le fine-tuning. La méthode inclut plusieurs types d'évolution, notamment l'ajout de contraintes, l'approfondissement, la concrétisation et l'augmentation des étapes de raisonnement. Par exemple, une instruction simple comme « Écris un poème » pourrait être évoluée en « Écris un poème dans le style de Shakespeare sur un robot apprenant à aimer ». Cela augmente la complexité et la spécificité de la tâche.
Le processus est itératif, le modèle étant exposé à plusieurs reprises à des instructions plus difficiles. Les auteurs ont également introduit un mécanisme de contrôle qualité pour filtrer les instructions trop ambiguës ou impossibles à répondre. Cela garantit que les données d'entraînement restent utiles et ne dégradent pas les performances du modèle. Les instructions évoluées sont ensuite combinées avec les instructions initiales pour créer un ensemble d'entraînement final.
Versions du modèle et références
Le premier modèle WizardLM, WizardLM-7B, a été affiné à partir de LLaMA-7B. Les versions ultérieures incluent WizardLM-13B et WizardLM-30B. Les modèles ont été évalués sur l'ensemble de test Evol-Instruct et d'autres références. Les auteurs ont rapporté que WizardLM-7B surpassait ChatGPT dans le suivi d'instructions complexes lors de leurs évaluations. Plus précisément, ils ont utilisé GPT-4 comme juge pour comparer les réponses et ont constaté que WizardLM-7B atteignait un taux de victoire plus élevé sur l'ensemble de test Evol-Instruct. Les versions suivantes, telles que WizardLM v1.1 et v1.2, ont intégré des raffinements supplémentaires, notamment des ensembles de données d'entraînement plus grands et des stratégies d'évolution améliorées.
Les poids du modèle ont été publiés publiquement, permettant aux chercheurs et développeurs de les utiliser et de les affiner. Les modèles WizardLM ont également été intégrés dans divers projets open-source et ont servi de références pour les modèles de suivi d'instructions ultérieurs. En 2024, la famille WizardLM comprend des modèles de différentes tailles, et la méthode Evolve-Instruct a été appliquée à d'autres domaines.
Impact et travaux connexes
La méthode Evolve-Instruct de WizardLM a influencé les modèles ultérieurs, notamment WizardCoder pour la génération de code et WizardMath pour le raisonnement mathématique. Ces modèles ont appliqué des techniques d'évolution similaires à des domaines spécialisés, démontrant la polyvalence de l'approche. L'approche a été adoptée par d'autres chercheurs dans le domaine, et l'article a été largement cité. WizardLM fait partie d'une tendance plus large dans le apprentissage profond visant à améliorer le suivi d'instructions grâce à la génération automatisée de données. La méthode a également contribué au développement de références d'évaluation plus sophistiquées pour les modèles de suivi d'instructions.