GLM-130B é um modelo de linguagem de grande escala desenvolvido por pesquisadores da Universidade de Tsinghua e lançado em 2022. Com 130 bilhões de parâmetros, foi projetado como um modelo de código aberto e bilíngue, com suporte tanto para inglês quanto para chinês, uma distinção notável em relação a muitos modelos contemporâneos que eram ou de código fechado ou focados principalmente em inglês. O modelo é construído sobre a arquitetura General Language Model (GLM), que combina aspectos de designs baseados em Transformer (architecture) do tipo Encoder-Decoder Architecture com geração autorregressiva, permitindo que ele lide efetivamente tanto com tarefas de compreensão quanto de geração.
O projeto foi iniciado para abordar a crescente lacuna entre modelos de linguagem de grande escala proprietários e alternativas publicamente disponíveis. Ao liberar os pesos do modelo e o código de treinamento, os desenvolvedores visavam fornecer à comunidade de pesquisa uma ferramenta poderosa para estudar e avançar as capacidades de Large language model, particularmente em contextos multilíngues. O GLM-130B foi treinado em um corpus diversificado de texto em inglês e chinês, e seu desempenho foi avaliado em comparação com vários modelos proeminentes da época, incluindo o GPT-3 da OpenAI e outros sistemas de grande escala.
Arquitetura e Treinamento
O GLM-130B emprega uma arquitetura única que integra um mecanismo de atenção bidirecional para tarefas de compreensão com um componente unidirecional e autorregressivo para geração. Essa abordagem híbrida, detalhada no framework GLM, permite que o modelo se destaque em tarefas como classificação de texto, resposta a perguntas e sumarização, ao mesmo tempo em que produz texto coerente e contextualmente relevante. O modelo usa um mecanismo de Multi-Head Attention e incorpora Layer Normalization e conexões de Residual Network (ResNet) para estabilizar o treinamento e melhorar o fluxo de gradientes.
O treinamento foi conduzido em um grande cluster de GPUs, utilizando técnicas como Gradient Clipping e Learning Rate Scheduling para garantir a convergência. O modelo foi treinado com uma mistura de dados em inglês e chinês, com um tokenizador projetado para lidar eficientemente com ambos os idiomas. O processo de treinamento também empregou Model Pruning e outras estratégias de otimização para reduzir o uso de memória e melhorar a velocidade de inferência, tornando o modelo mais acessível para implantação em hardware padrão.
Desempenho e Avaliação
Em avaliações de benchmark, o GLM-130B demonstrou desempenho competitivo em relação a outros modelos grandes, particularmente em tarefas em língua chinesa, onde frequentemente superava modelos treinados principalmente em dados em inglês. Em benchmarks em inglês, como LAMBADA e MMLU, alcançou resultados comparáveis ou superiores aos do GPT-3, apesar de ter um número menor de parâmetros do que alguns concorrentes. As capacidades bilíngues do modelo foram destacadas em tarefas interlinguais, onde mostrou fortes habilidades de aprendizado por transferência.
No entanto, o modelo também exibiu limitações comuns aos modelos de linguagem de grande escala de sua época, incluindo imprecisões factuais ocasionais e sensibilidade à formulação do prompt. Os desenvolvedores publicaram resultados de avaliação detalhados, incluindo comparações com modelos como o Chinchilla da Google DeepMind e o Claude da Anthropic, para fornecer transparência sobre seus pontos fortes e fracos.
Impacto do Código Aberto
Uma das contribuições mais significativas do GLM-130B foi sua natureza de código aberto. Em uma época em que muitos modelos líderes eram proprietários, o GLM-130B forneceu aos pesquisadores acesso a um modelo de última geração, permitindo estudos sobre interpretabilidade, ajuste fino e segurança. O lançamento incluiu não apenas os pesos do modelo, mas também o código de treinamento e documentação detalhada, promovendo uma comunidade de desenvolvedores que construíram sobre o modelo para diversas aplicações.
O lançamento do modelo também estimulou discussões sobre a democratização da Artificial intelligence e a importância da pesquisa aberta no campo. Ele serviu como base para variantes subsequentes do GLM, incluindo modelos maiores e mais eficientes, e influenciou o desenvolvimento de outras iniciativas de código aberto em Machine learning e Deep learning.
Limitações e Considerações Éticas
Como outros modelos de linguagem de grande escala, o GLM-130B levanta preocupações éticas relacionadas a viés, desinformação e uso indevido potencial. Os dados de treinamento, extraídos da internet, podem conter vieses que o modelo pode amplificar. Os desenvolvedores reconheceram esses problemas e recomendaram uso cuidadoso, incluindo supervisão humana em aplicações onde as saídas do modelo possam ter consequências significativas. Eles também forneceram diretrizes para implantação responsável, enfatizando a necessidade de transparência e responsabilidade.
As limitações técnicas incluíam um uso de memória relativamente grande, exigindo recursos computacionais substanciais para inferência. O desempenho do modelo em idiomas além do inglês e do chinês era limitado, refletindo o foco de seus dados de treinamento. Na época de seu lançamento, o GLM-130B representou um passo significativo no avanço da IA de código aberto, mas também destacou os desafios contínuos na criação de modelos que sejam ao mesmo tempo poderosos e seguros.
Legado e Influência
O desenvolvimento do GLM-130B contribuiu para a tendência mais ampla de modelos de linguagem de grande escala de código aberto, influenciando projetos subsequentes como LLaMA e outros. Sua arquitetura e metodologias de treinamento foram citadas em inúmeros artigos de pesquisa, e suas capacidades bilíngues inspiraram esforços semelhantes em outros idiomas. O modelo permanece como um ponto de referência para pesquisadores que estudam as leis de escala de modelos de Neural network e os trade-offs entre tamanho do modelo, dados e desempenho.
Em 2024, o GLM-130B não é mais o maior ou mais avançado modelo disponível, mas seu impacto no campo é duradouro. Ele demonstrou que modelos de código aberto de alta qualidade poderiam rivalizar com os proprietários, abrindo caminho para uma abordagem mais inclusiva e colaborativa na pesquisa em IA.