Las leyes de escala, en el contexto del aprendizaje automático, son relaciones empíricas que describen cómo el rendimiento de un modelo mejora de manera predecible, aproximadamente siguiendo una ley de potencia, a medida que aumentan tres cantidades: el número de parámetros del modelo, la cantidad de datos de entrenamiento que ve y el cómputo total dedicado al entrenamiento. Más que una ley única, el término se refiere a un cuerpo de investigación que establece que la pérdida en datos reservados tiende a disminuir de manera suave y predecible a medida que estas cantidades escalan juntas, lo que permite a los investigadores pronosticar el rendimiento de un modelo mucho más grande antes de entrenarlo.
Kaplan et al., 2020
El artículo fundacional, "Scaling Laws for Neural Language Models", fue publicado por Jared Kaplan y colaboradores en OpenAI en enero de 2020. Encontró que la pérdida de los modelos de lenguaje seguía relaciones de ley de potencia con el tamaño del modelo, el tamaño del conjunto de datos y el cómputo, en gran medida independiente de detalles arquitectónicos específicos como la profundidad o el ancho de la red, y que los modelos más grandes entrenados con la misma cantidad de datos eran consistentemente más eficientes en cuanto a muestras. Una implicación ampliamente extraída en ese momento era que, para un presupuesto de cómputo fijo, era mejor entrenar modelos muy grandes con cantidades comparativamente modestas de datos en lugar de entrenar modelos más pequeños hasta la convergencia, una conclusión que moldeó el diseño de modelos como GPT-3.
Chinchilla, 2022
Un artículo de 2022 de Hoffmann y colegas en Google DeepMind, que introdujo un modelo llamado Chinchilla, revisó esta imagen. Al entrenar un gran número de modelos de diferentes tamaños con diferentes cantidades de datos y compararlos con presupuestos de cómputo iguales, los autores encontraron que las leyes de escala originales subestimaban cuántos datos de entrenamiento necesita un modelo en relación con su número de parámetros; muchos modelos grandes contemporáneos estaban, en este marco, subentrenados en relación con su tamaño. La receta óptima en cuanto a cómputo del artículo de Chinchilla, que recomendaba escalar el tamaño del modelo y los datos de entrenamiento aproximadamente en proporción, se convirtió en un punto de referencia influyente para cómo los laboratorios asignaban cómputo en ejecuciones posteriores de preentrenamiento.
Consecuencias y debate
Las leyes de escala ayudaron a justificar la enorme inversión de capital detrás del crecimiento de los modelos fundacionales, ya que una relación predecible entre cómputo y rendimiento da a inversores y laboratorios una base para pronosticar retornos en ejecuciones de entrenamiento cada vez más grandes. También plantearon la cuestión de si el escalado podría continuar indefinidamente, dados los datos de entrenamiento de alta calidad finitos y los límites físicos y financieros descritos informalmente por extensiones de la ley de Moore al crecimiento del cómputo en IA. Las preocupaciones sobre quedarse sin datos de texto de alta calidad fácilmente disponibles, a veces llamadas un muro de datos, impulsaron la investigación hacia datos sintéticos y hacia nuevos ejes de escalado más allá del preentrenamiento, incluido cómputo en tiempo de prueba, la práctica de gastar más cómputo en la inferencia para mejorar la calidad de la salida en un problema dado en lugar de solo escalar el modelo en sí. La relación entre el escalado bruto y capacidades cualitativamente nuevas sigue siendo debatida, y está estrechamente vinculada a la investigación sobre habilidades emergentes, que pregunta si algunas capacidades aparecen abruptamente en escalas particulares en lugar de mejorar suavemente junto con la pérdida.