Phi-1 es un modelo de lenguaje de gran tamaño desarrollado por Microsoft, publicado en junio de 2023. Con 1.3 mil millones de parámetros, es una arquitectura Transformer (architecture) compacta diseñada específicamente para tareas de generación y comprensión de código. Phi-1 fue entrenado con un conjunto de datos seleccionado de código de calidad tipo libro de texto y ejercicios sintéticos, enfatizando la calidad de los datos sobre la mera escala. Su desarrollo marcó un cambio notable en la investigación de aprendizaje automático, demostrando que modelos más pequeños pueden rivalizar con contrapartes mucho más grandes cuando se entrenan con datos cuidadosamente filtrados.
El modelo se presentó como parte de la serie Phi de Microsoft, que explora la relación entre la calidad de los datos de entrenamiento y el rendimiento del modelo. Phi-1 logró resultados de vanguardia en varios puntos de referencia de codificación para su tamaño, incluidos HumanEval y MBPP, superando a modelos varias veces más grandes. Su éxito destacó el potencial de las estrategias de aprendizaje curricular y selección de datos en el aprendizaje profundo.
Arquitectura y entrenamiento
Phi-1 utiliza una arquitectura Transformer (architecture) estándar de solo decodificador con 24 capas, 32 cabezales de atención y una dimensión oculta de 2048. Emplea atención de múltiples cabezales, normalización de capas y conexiones de red residual, similar a otros modelos de lenguaje de gran tamaño modernos. El modelo se entrenó con 1.4 billones de tokens, pero la innovación clave fue la composición del conjunto de datos: el 70% de los datos provino de un corpus web filtrado de código, mientras que el 30% se generó utilizando un modelo de lenguaje grande (probablemente GPT-3.5 o similar) para crear ejercicios sintéticos y ejemplos estilo libro de texto.
El proceso de entrenamiento utilizó optimizador Adam con un programa de tasa de aprendizaje que incluía una fase de calentamiento y decaimiento coseno. Se aplicó recorte de gradientes para estabilizar el entrenamiento. El modelo se entrenó en 512 GPUs A100 durante aproximadamente 12 días, consumiendo alrededor de 1.5 petaflop-días de cómputo. Esto es significativamente menos que el cómputo utilizado para modelos más grandes como GPT-3 o los modelos posteriores de OpenAI.
Curación de datos y datos sintéticos
Un aspecto central de Phi-1 es su énfasis en la calidad de los datos. El corpus de entrenamiento, llamado CodeTextbook, se construyó filtrando repositorios de GitHub para obtener muestras de código de alta calidad y autocontenidas. El proceso de filtrado eliminó código redundante, de baja calidad o mal documentado. Además, se generaron datos sintéticos utilizando un modelo maestro para crear ejercicios que imitan problemas de libro de texto, como "escribe una función que calcule la secuencia de Fibonacci" con explicaciones adjuntas.
Este enfoque se inspiró en el aprendizaje curricular, donde los modelos se entrenan con ejemplos progresivamente más complejos. La generación de datos sintéticos se guió por principios de contenido educativo, asegurando que los ejemplos fueran claros, concisos y pedagógicamente sólidos. Este enfoque en la curación de datos permitió a Phi-1 lograr alta precisión en tareas de codificación a pesar de su tamaño relativamente pequeño.
Rendimiento y puntos de referencia
Phi-1 se evaluó en varios puntos de referencia estándar de generación de código. En HumanEval, logró una precisión pass@1 del 50.6%, superando a modelos como Codex (que tenía 28.8% con 12B parámetros) e incluso a algunos modelos más grandes. En MBPP, obtuvo un 55.5% de pass@1. Estos resultados fueron notables porque Phi-1 era significativamente más pequeño que muchos modelos competidores, como los de Google DeepMind o Anthropic.
El modelo también demostró un fuerte rendimiento en tareas de explicación y finalización de código, aunque era menos capaz en la comprensión general del lenguaje en comparación con modelos entrenados con texto diverso. Su especialización en código lo convirtió en una herramienta útil para desarrolladores, y se integró en los servicios de IA de Microsoft Azure de Microsoft para aplicaciones relacionadas con código.
Impacto y recepción
El lanzamiento de Phi-1 contribuyó a una conversación más amplia sobre la eficiencia en la inteligencia artificial. Desafió la suposición predominante de que los modelos más grandes siempre son mejores, sugiriendo que la calidad y la curación de los datos podrían ser tan importantes como la escala. Esto influyó en investigaciones posteriores, incluidos modelos posteriores de la serie Phi, como Phi-1.5 y Phi-2, que extendieron el enfoque a texto general.
Phi-1 también despertó interés en la generación de datos sintéticos, una técnica adoptada posteriormente por otros laboratorios. Su éxito se consideró una validación de la idea de que modelos pequeños y especializados podrían implementarse en dispositivos periféricos, reduciendo la dependencia de una infraestructura masiva en la nube. Sin embargo, algunos investigadores señalaron que la generación de datos sintéticos dependía de un modelo maestro potente, lo que podría limitar la escalabilidad del enfoque.
Limitaciones y direcciones futuras
A pesar de sus fortalezas, Phi-1 tenía limitaciones. Se entrenó exclusivamente con código, por lo que carecía de conocimiento general y no podía realizar tareas como conversación en lenguaje natural o respuesta a preguntas factuales. Su rendimiento en código fuera de distribución, como código en lenguajes menos comunes o con estilo inusual, era menos robusto. Además, el modelo no se ajustó para seguir instrucciones, por lo que requería un aviso cuidadoso.
El trabajo futuro en la serie Phi tenía como objetivo abordar estas brechas incorporando datos más diversos y ajuste de instrucciones. Los principios de curación de datos y datos sintéticos de Phi-1 se mantuvieron, influyendo en el desarrollo de modelos posteriores que lograron capacidades más amplias mientras mantenían la eficiencia.