WizardLM é uma família de modelos de linguagem de grande porte desenvolvida pela Microsoft Research Asia. O projeto introduziu o método Evolve-Instruct, uma técnica para gerar automaticamente dados de instruções complexas usados no ajuste fino de aprendizado de máquina. O primeiro modelo WizardLM foi lançado em 2023 e foi baseado na arquitetura LLaMA, um modelo Transformer (architecture) que depende de atenção multi-cabeça e normalização de camadas.
O nome "WizardLM" reflete o objetivo de permitir que os modelos lidem com instruções intrincadas de usuários, semelhante à perícia de um mago. Os modelos fazem parte do campo mais amplo de IA generativa e se baseiam em avanços na pesquisa de inteligência artificial. O WizardLM foi projetado para abordar o desafio do seguimento de instruções, onde os modelos devem interpretar e executar solicitações de usuários com alta precisão.
Contexto e motivação
O ajuste de instruções é uma prática padrão para adaptar redes neurais a seguir prompts de usuários. Nesse processo, um modelo base é ajustado finamente em pares de instruções e respostas desejadas. No entanto, criar manualmente instruções diversas e complexas é trabalhoso e frequentemente resulta em conjuntos de dados que carecem de profundidade. O WizardLM aborda isso usando um sistema de IA para evoluir instruções simples de semente em formas mais complexas. Essa abordagem está relacionada ao aprendizado curricular, onde os modelos são treinados em exemplos progressivamente mais difíceis. O objetivo é expor o modelo a uma gama mais ampla de padrões de raciocínio e restrições, melhorando assim sua capacidade de lidar com solicitações reais de usuários.
O método Evolve-Instruct foi introduzido em um artigo intitulado "WizardLM: Empowering Large Language Models to Follow Complex Instructions", publicado no arXiv em abril de 2023. Os autores eram afiliados à Microsoft Research Asia. O artigo propôs um processo de duas etapas: evolução profunda e evolução em profundidade. Na evolução profunda, o modelo gera novas instruções adicionando restrições, aprofundando o raciocínio ou complicando a entrada. Na evolução em profundidade, o modelo reescreve instruções existentes para aumentar sua complexidade. O conjunto de dados resultante é então usado para ajustar finamente um modelo base.
Método Evolve-Instruct
O método Evolve-Instruct usa um modelo professor, como o ChatGPT, para reescrever instruções de semente por meio de operações como adicionar restrições, aprofundar o raciocínio e complicar entradas. As instruções evoluídas servem como uma forma de aumento de dados para o ajuste fino. O método inclui múltiplos tipos de evolução, incluindo adicionar restrições, aprofundar, concretizar e aumentar etapas de raciocínio. Por exemplo, uma instrução simples como "Escreva um poema" pode ser evoluída para "Escreva um poema no estilo de Shakespeare sobre um robô aprendendo a amar". Isso aumenta a complexidade e a especificidade da tarefa.
O processo é iterativo, com o modelo sendo repetidamente exposto a instruções mais desafiadoras. Os autores também introduziram um mecanismo de controle de qualidade para filtrar instruções que são muito ambíguas ou impossíveis de responder. Isso garante que os dados de treinamento permaneçam úteis e não degradem o desempenho do modelo. As instruções evoluídas são então combinadas com as instruções de semente originais para criar um conjunto de treinamento final.
Versões do modelo e benchmarks
O primeiro modelo WizardLM, WizardLM-7B, foi ajustado finamente a partir do LLaMA-7B. Versões posteriores incluíram WizardLM-13B e WizardLM-30B. Os modelos foram avaliados no conjunto de teste Evol-Instruct e em outros benchmarks. Os autores relataram que o WizardLM-7B superou o ChatGPT no seguimento de instruções complexas em suas avaliações. Especificamente, eles usaram o GPT-4 como juiz para comparar respostas e descobriram que o WizardLM-7B alcançou uma taxa de vitória maior no conjunto de teste Evol-Instruct. Versões subsequentes, como WizardLM v1.1 e v1.2, incorporaram refinamentos adicionais, incluindo conjuntos de dados de treinamento maiores e estratégias de evolução melhoradas.
Os pesos do modelo foram liberados publicamente, permitindo que pesquisadores e desenvolvedores os usassem e ajustassem finamente. Os modelos WizardLM também foram integrados em vários projetos de código aberto e serviram como linhas de base para modelos posteriores de seguimento de instruções. Em 2024, a família WizardLM inclui modelos de diferentes tamanhos, e o método Evolve-Instruct foi aplicado a outros domínios.
Impacto e trabalhos relacionados
O método Evolve-Instruct do WizardLM influenciou modelos posteriores, incluindo WizardCoder para geração de código e WizardMath para raciocínio matemático. Esses modelos aplicaram técnicas de evolução semelhantes a domínios especializados, demonstrando a versatilidade da abordagem. A abordagem foi adotada por outros pesquisadores no campo, e o artigo foi amplamente citado. O WizardLM faz parte de uma tendência mais ampla em aprendizado profundo para melhorar o seguimento de instruções por meio da geração automatizada de dados. O método também contribuiu para o desenvolvimento de benchmarks de avaliação mais sofisticados para modelos de seguimento de instruções.