Leis de escala, no contexto de aprendizado de máquina, são relações empíricas que descrevem como o desempenho de um modelo melhora de forma previsível, aproximadamente em lei de potência, à medida que três quantidades aumentam: o número de parâmetros do modelo, a quantidade de dados de treinamento que ele vê e o custo computacional total gasto no treinamento. Em vez de uma única lei, o termo se refere a um corpo de pesquisa que estabelece que a perda em dados retidos tende a diminuir de forma suave e previsível à medida que essas quantidades aumentam em conjunto, o que permite que pesquisadores prevejam o desempenho de um modelo muito maior antes de treiná-lo.
Kaplan et al., 2020
O artigo fundador, "Scaling Laws for Neural Language Models", foi publicado por Jared Kaplan e colaboradores na OpenAI em janeiro de 2020. Ele descobriu que a perda de modelos de linguagem seguia relações de lei de potência com o tamanho do modelo, o tamanho do conjunto de dados e o custo computacional, em grande parte independentes de detalhes arquitetônicos específicos, como profundidade ou largura da rede, e que modelos maiores treinados com a mesma quantidade de dados eram consistentemente mais eficientes em termos de amostras. Uma implicação amplamente extraída na época era que, para um orçamento computacional fixo, era melhor treinar modelos muito grandes com quantidades comparativamente modestas de dados do que treinar modelos menores até a convergência, uma conclusão que moldou o design de modelos como o GPT-3.
Chinchilla, 2022
Um artigo de 2022 de Hoffmann e colegas na Google DeepMind, que introduziu o modelo chamado Chinchilla, revisou esse quadro. Ao treinar um grande número de modelos de diferentes tamanhos com diferentes quantidades de dados e compará-los sob orçamentos computacionais iguais, os autores descobriram que as leis de escala originais subestimavam a quantidade de dados de treinamento necessária em relação ao número de parâmetros; muitos modelos contemporâneos de grande porte estavam, nessa visão, subtreinados em relação ao seu tamanho. A receita ótima em termos de custo computacional do artigo Chinchilla, que recomendava escalar o tamanho do modelo e a quantidade de dados de treinamento aproximadamente na mesma proporção, tornou-se uma referência influente para como os laboratórios alocavam recursos computacionais em execuções de pre-treinamento subsequentes.
Consequências e debate
As leis de escala ajudaram a justificar o enorme investimento de capital por trás do crescimento dos modelos-de-fundacao, uma vez que uma relação previsível entre custo computacional e desempenho dá a investidores e laboratórios uma base para prever o retorno sobre execuções de treinamento cada vez maiores. Elas também levantaram a questão de se o escalonamento poderia continuar indefinidamente, dados os limites na disponibilidade de dados de treinamento de alta qualidade e as restrições físicas e financeiras descritas informalmente por extensões da lei-de-moore ao crescimento do poder computacional para IA. Preocupações sobre o esgotamento de dados textuais de alta qualidade facilmente acessíveis, às vezes chamado de "muro de dados", impulsionaram a pesquisa em direção a dados-sinteticos e a novos eixos de escalonamento além do pré-treinamento, incluindo o Test-time compute, a prática de gastar mais poder computacional na inferência para melhorar a qualidade da resposta a um problema específico, em vez de apenas escalar o modelo em si. A relação entre o escalonamento bruto e o surgimento de capacidades qualitativamente novas permanece em debate, estando intimamente ligada à pesquisa sobre capacidades-emergentes, que investiga se algumas habilidades aparecem abruptamente em determinadas escalas, em vez de melhorarem suavemente junto com a perda.