Iosif Lazaridis é um cientista da computação cuja pesquisa se concentra no comportamento de escalonamento de modelos de linguagem de grande porte. Ele é mais conhecido por coautorar o artigo de 2022 "Training Compute-Optimal Large Language Models", que introduziu as leis de escalonamento de Chinchilla, e por contribuir para o modelo Gopher. Seu trabalho influenciou como pesquisadores e empresas alocam recursos computacionais ao treinar modelos de linguagem de grande porte.
As contribuições de Lazaridis situam-se na interseção entre a teoria de aprendizado de máquina e a engenharia prática. Ao analisar sistematicamente como o tamanho do modelo, o tamanho do conjunto de dados e o orçamento computacional interagem, ele ajudou a estabelecer diretrizes que se tornaram padrão no campo. Suas descobertas foram amplamente adotadas tanto por laboratórios acadêmicos quanto por grupos de pesquisa industriais, incluindo aqueles no Google DeepMind, onde conduziu grande parte de sua pesquisa.
Leis de Escalonamento de Chinchilla
O resultado central do trabalho de Lazaridis com o modelo Chinchilla foi a derivação de leis de escalonamento que especificam a proporção ideal de parâmetros do modelo para tokens de treinamento, dado um orçamento computacional fixo. A equipe descobriu que muitos modelos existentes, incluindo o Gopher, eram significativamente superparametrizados e subtreinados. Para um orçamento computacional fixo, o tamanho ideal do modelo cresce aproximadamente em proporção à quinta potência do orçamento computacional, enquanto o número de tokens de treinamento deve crescer aproximadamente em proporção à potência de três quintos.
Essa percepção levou à criação do Chinchilla, um modelo de 70 bilhões de parâmetros treinado em 1,4 trilhão de tokens. Apesar de ter menos parâmetros que o Gopher (280 bilhões), o Chinchilla superou o Gopher em uma ampla gama de benchmarks, demonstrando que o treinamento eficiente em termos computacionais poderia produzir melhor desempenho. As descobertas do artigo desde então se tornaram um ponto de referência para decisões de treinamento tanto na academia quanto na indústria.
Gopher e o Caminho para Chinchilla
Antes do artigo sobre Chinchilla, Lazaridis contribuiu para o desenvolvimento do Gopher, um modelo transformador de 280 bilhões de parâmetros. O Gopher fez parte de um esforço mais amplo no DeepMind para ampliar os limites da modelagem de linguagem. O artigo sobre o Gopher, publicado em 2021, analisou o desempenho do modelo em 152 tarefas diversas, mostrando que aumentar o tamanho do modelo geralmente melhorava o desempenho, mas com retornos decrescentes em algumas tarefas.
A análise do treinamento e da avaliação do Gopher forneceu a base empírica para o trabalho sobre Chinchilla. Ao comparar modelos de diferentes tamanhos treinados com diferentes quantidades de dados, a equipe conseguiu isolar os efeitos da capacidade do modelo versus os dados de treinamento. Essa abordagem sistemática foi uma contribuição metodológica fundamental, indo além de simples curvas de escalonamento para uma compreensão mais matizada do treinamento computacionalmente ótimo.
Impacto no Campo
As leis de escalonamento de Chinchilla tiveram um impacto profundo em como modelos de grande porte são treinados. Antes de sua publicação, muitas organizações seguiam a tendência de aumentar os parâmetros do modelo enquanto mantinham o conjunto de dados de treinamento relativamente fixo. Os resultados de Chinchilla sugeriram que essa abordagem era subótima, levando muitos a mudar para o treinamento de modelos menores com conjuntos de dados maiores.
Essa mudança é evidente em modelos subsequentes de várias organizações. Por exemplo, o GPT-3 da OpenAI tinha 175 bilhões de parâmetros treinados em 300 bilhões de tokens, o que a análise de Chinchilla sugeriu ser superparametrizado. Modelos posteriores, como os da série LLaMA da Meta, adotaram explicitamente a proporção de Chinchilla, treinando modelos de 65 bilhões de parâmetros em 1,4 trilhão de tokens. Os princípios também influenciaram decisões na Anthropic e em outros laboratórios, moldando o design de modelos como o Claude.
Metodologia e Contribuições Mais Amplas
Além dos resultados específicos, o trabalho de Lazaridis exemplifica uma abordagem empírica rigorosa para entender redes neurais. O artigo sobre Chinchilla envolveu experimentação extensiva, treinando mais de 400 modelos com diferentes contagens de parâmetros e orçamentos de tokens. Essa análise empírica em grande escala exigiu engenharia cuidadosa e métodos estatísticos para garantir conclusões confiáveis.
A pesquisa de Lazaridis também aborda tópicos como aumento de dados e o papel da qualidade dos dados de treinamento. Embora o artigo sobre Chinchilla tenha se concentrado principalmente na quantidade, trabalhos subsequentes exploraram como a composição e a curadoria dos conjuntos de dados afetam o comportamento de escalonamento. Suas contribuições ajudaram a estabelecer as leis de escalonamento como uma ferramenta fundamental para raciocinar sobre o desenvolvimento de modelos, semelhante ao papel dos agendamentos de taxa de aprendizado na otimização.
Legado e Direções Atuais
Em meados da década de 2020, Lazaridis continua trabalhando no campo da inteligência artificial, embora seus projetos atuais específicos não sejam amplamente divulgados. Seu trabalho com o DeepMind foi citado milhares de vezes, e o artigo sobre Chinchilla é considerado uma das publicações mais influentes na história recente do aprendizado profundo.
Os princípios que ele ajudou a estabelecer agora são ensinados em cursos universitários sobre aprendizado de máquina em larga escala e são rotineiramente aplicados na indústria. A mudança para o treinamento computacionalmente ótimo também teve implicações econômicas, pois afeta o custo do treinamento e a pegada ambiental da pesquisa em IA. Ao fornecer uma estrutura clara para equilibrar computação, dados e tamanho do modelo, a pesquisa de Lazaridis contribuiu para tornar o desenvolvimento de IA em larga escala mais eficiente e acessível.