Phi-1 é um modelo de linguagem de grande porte desenvolvido pela Microsoft, lançado em junho de 2023. Com 1,3 bilhão de parâmetros, é uma arquitetura Transformer (architecture) compacta projetada especificamente para tarefas de geração e compreensão de código. Phi-1 foi treinado em um conjunto de dados selecionado de código de qualidade de livro didático e exercícios sintéticos, enfatizando a qualidade dos dados em vez da escala pura. Seu desenvolvimento marcou uma mudança notável na pesquisa em aprendizado de máquina, mostrando que modelos menores podem rivalizar com contrapartes muito maiores quando treinados com dados cuidadosamente filtrados.
O modelo foi introduzido como parte da série Phi da Microsoft, que explora a relação entre a qualidade dos dados de treinamento e o desempenho do modelo. Phi-1 alcançou resultados de última geração em vários benchmarks de codificação em seu tamanho, incluindo HumanEval e MBPP, superando modelos várias vezes maiores. Seu sucesso destacou o potencial de aprendizado curricular e estratégias de seleção de dados em aprendizado profundo.
Arquitetura e Treinamento
Phi-1 usa uma arquitetura Transformer (architecture) padrão apenas de decodificador com 24 camadas, 32 cabeças de atenção e uma dimensão oculta de 2048. Ele emprega atenção de múltiplas cabeças, normalização de camada e conexões de rede residual, semelhantes a outros modelos de linguagem de grande porte modernos. O modelo foi treinado em 1,4 trilhão de tokens, mas a inovação principal foi a composição do conjunto de dados: 70% dos dados vieram de um corpus web filtrado de código, enquanto 30% foram gerados usando um modelo de linguagem de grande porte (provavelmente GPT-3.5 ou similar) para criar exercícios sintéticos e exemplos no estilo de livro didático.
O processo de treinamento usou otimizador Adam com um esquema de taxa de aprendizado que incluía uma fase de aquecimento e decaimento cosseno. Recorte de gradiente foi aplicado para estabilizar o treinamento. O modelo foi treinado em 512 GPUs A100 por aproximadamente 12 dias, consumindo cerca de 1,5 petaflop-dias de computação. Isso é significativamente menos do que a computação usada para modelos maiores como GPT-3 ou os modelos posteriores da OpenAI.
Curadoria de Dados e Dados Sintéticos
Um aspecto central do Phi-1 é sua ênfase na qualidade dos dados. O corpus de treinamento, chamado CodeTextbook, foi construído filtrando repositórios do GitHub para amostras de código de alta qualidade e autocontidas. O processo de filtragem removeu código redundante, de baixa qualidade ou mal documentado. Além disso, dados sintéticos foram gerados usando um modelo professor para criar exercícios que imitam problemas de livro didático, como "escreva uma função que calcula a sequência de Fibonacci" com explicações acompanhantes.
Essa abordagem inspirou-se em aprendizado curricular, onde modelos são treinados em exemplos progressivamente mais complexos. A geração de dados sintéticos foi guiada por princípios de conteúdo educacional, garantindo que os exemplos fossem claros, concisos e pedagogicamente sólidos. Esse foco na curadoria de dados permitiu que Phi-1 alcançasse alta precisão em tarefas de codificação apesar de seu tamanho relativamente pequeno.
Desempenho e Benchmarks
Phi-1 foi avaliado em vários benchmarks padrão de geração de código. No HumanEval, alcançou uma precisão pass@1 de 50,6%, superando modelos como Codex (que tinha 28,8% com 12B de parâmetros) e até mesmo alguns modelos maiores. No MBPP, obteve 55,5% de pass@1. Esses resultados foram notáveis porque Phi-1 era significativamente menor do que muitos modelos concorrentes, como os da Google DeepMind ou Anthropic.
O modelo também demonstrou forte desempenho em tarefas de explicação e conclusão de código, embora fosse menos capaz em compreensão geral de linguagem comparado a modelos treinados em texto diversificado. Sua especialização em código o tornou uma ferramenta útil para desenvolvedores, e foi integrado aos serviços de IA da Microsoft Azure da Microsoft para aplicações relacionadas a código.
Impacto e Recepção
O lançamento do Phi-1 contribuiu para uma conversa mais ampla sobre eficiência em inteligência artificial. Ele desafiou a suposição predominante de que modelos maiores são sempre melhores, sugerindo que a qualidade e a curadoria dos dados poderiam ser tão importantes quanto a escala. Isso influenciou pesquisas subsequentes, incluindo modelos posteriores da série Phi, como Phi-1.5 e Phi-2, que estenderam a abordagem para texto geral.
Phi-1 também despertou interesse na geração de dados sintéticos, uma técnica posteriormente adotada por outros laboratórios. Seu sucesso foi visto como uma validação da ideia de que modelos pequenos e especializados poderiam ser implantados em dispositivos de borda, reduzindo a dependência de infraestrutura massiva em nuvem. No entanto, alguns pesquisadores notaram que a geração de dados sintéticos dependia de um modelo professor poderoso, o que poderia limitar a escalabilidade da abordagem.
Limitações e Direções Futuras
Apesar de seus pontos fortes, Phi-1 tinha limitações. Foi treinado exclusivamente em código, então carecia de conhecimento geral e não podia realizar tarefas como conversação em linguagem natural ou resposta a perguntas factuais. Seu desempenho em código fora da distribuição, como código em linguagens menos comuns ou com estilo incomum, era menos robusto. Além disso, o modelo não foi ajustado para seguir instruções, então exigia prompts cuidadosos.
Trabalhos futuros na série Phi visaram abordar essas lacunas incorporando dados mais diversos e ajuste de instruções. Os princípios de curadoria de dados e dados sintéticos do Phi-1 foram levados adiante, influenciando o desenvolvimento de modelos posteriores que alcançaram capacidades mais amplas enquanto mantinham eficiência.