GPT-Neo é uma série de modelos de linguagem de grande escala de código aberto desenvolvida pelo coletivo EleutherAI, uma comunidade de pesquisadores e entusiastas de IA. Lançado em 2021, o GPT-Neo foi projetado para replicar a arquitetura e as capacidades do GPT-3 da OpenAI, sendo disponibilizado gratuitamente ao público, abordando preocupações sobre a exclusividade e a opacidade dos principais modelos proprietários. O projeto visava democratizar o acesso a tecnologias de aprendizado profundo e IA generativa.
A família GPT-Neo consiste em dois modelos principais: a versão de 125 milhões de parâmetros e a versão de 1,3 bilhão de parâmetros. O modelo de 1,3B foi treinado no Pile, um conjunto de dados diversificado em inglês de 825 gigabytes montado pela EleutherAI, e demonstrou desempenho comparável a modelos GPT-3 de tamanho semelhante em vários benchmarks. Os modelos foram implementados usando a biblioteca transformers da Hugging Face, facilitando seu uso e ajuste fino para diversas tarefas de processamento de linguagem natural.
Desenvolvimento e acessibilidade
A EleutherAI começou o desenvolvimento em 2020, com o objetivo de replicar o sucesso do GPT-3, que havia sido lançado como uma API proprietária. A equipe, composta por voluntários, trabalhou para treinar e lançar os modelos sem os enormes orçamentos corporativos típicos de outros laboratórios de pesquisa em IA. Os modelos foram lançados em março de 2021, seguidos pelo GPT-Neo 2.7B em novembro de 2021. O modelo maior foi acompanhado por código de treinamento que poderia ser escalado para tamanhos ainda maiores, e o projeto posteriormente levou ao desenvolvimento do GPT-J e, mais tarde, da família GPT-NeoX.
A natureza de código aberto do GPT-Neo permitiu que a comunidade inspecionasse a arquitetura, os procedimentos de treinamento e os pesos, fomentando pesquisas em aprendizado de máquina e eficiência de redes neurais. Também permitiu que organizações menores e indivíduos implantassem modelos de linguagem sofisticados sem depender de serviços de API caros ou software proprietário.
Arquitetura e treinamento
A arquitetura do GPT-Neo é baseada nos transformers, a base de muitos modelos de linguagem modernos, usando decodificadores multicamadas com atenção causal. Cada modelo compreende numerosas camadas do bloco transformer, incluindo atenção de múltiplas cabeças, conexões residuais e normalização de camadas. O processo de treinamento utilizou o otimizador Adam e seguiu uma agenda de taxa de aprendizado com uma fase de aquecimento, conforme descrito no artigo original do GPT-3.
O treinamento foi realizado em um cluster homogêneo de GPUs, relatadamente 512 GPUs V100 para o modelo de 2.7B. O conjunto de dados, o Pile, consiste em texto diversificado de artigos acadêmicos, páginas da web, livros e código, fornecendo ampla cobertura para tarefas gerais de linguagem. Os modelos foram treinados do zero, sem os benefícios de pré-treinamento anterior, exceto pelo esquema de inicialização de pesos.
Capacidades e casos de uso
O GPT-Neo aceita prompts e gera texto coerente e diversificado em uma ampla gama de tópicos. Ele pode realizar tarefas como resposta a perguntas, sumarização e escrita criativa. O modelo menor de 125M é adequado para ambientes com recursos limitados, enquanto os modelos de 1.3B e 2.7B podem gerar saídas de maior qualidade, embora exijam mais recursos computacionais.
Devido à sua licença aberta, o GPT-Neo tem sido usado em numerosos estudos acadêmicos e produtos. Ele serve como uma linha de base para avaliar novas técnicas de treinamento em modelos escaláveis. Muitos pesquisadores e desenvolvedores o usam para explorar o comportamento de modelos de linguagem de grande escala sem as restrições de sistemas proprietários. O Git ajudou a tornar a arquitetura do GPT-3 aberta para experimentação, e ele ainda serve como um trampolim para novatos no campo.
Comparação e impacto
Ao contrário do GPT-3 da OpenAI, que foi lançado via uma API comercial e não foi de código aberto, os modelos GPT-Neo são totalmente baixáveis e podem ser executados localmente. Essa abertura incentiva a pesquisa sobre correção, as implicações tecnológicas e sociais dos modelos de linguagem, incluindo preocupações sobre viés e uso indevido. Embora o GPT-Neo não seja tão grande quanto o GPT-3 (175B), seu desempenho em muitas tarefas mostrou que até modelos menores podem alcançar resultados impressionantes com prompts de treinamento suficientes.
O lançamento do GPT-Neo também inspirou outros esforços de código aberto, como o Megatron da NVIDIA e a integração do Transformers da Hugging Face, e abriu caminho para modelos posteriores da EleutherAI, como GPT-J e GPT-NeoX. Esses desenvolvimentos intensificaram o debate sobre a necessidade de modelos em escala massiva e o papel do código aberto na democratização da IA.
Licenciamento e recepção
Os modelos são lançados sob a licença MIT, permitindo uso comercial e modificação sem restrições. Esse licenciamento permissivo tornou o GPT-Neo uma escolha popular para startups e pesquisadores. O lançamento foi recebido positivamente e descrito como uma ação ousada que desafiou as políticas de portas fechadas de alguns gigantes da IA.
No entanto, o GPT-Neo também levantou questões sobre a lucratividade de uma IA de código aberto, especialmente em relação a possível classificação incorreta. A EleutherAI não fornece garantia ou responsabilidades, e os modelos podem refletir vieses presentes em seus dados de treinamento. Como com muitos modelos de IA, recomenda-se uso cuidadoso e verificação das saídas para mitigar esses riscos.
Legado
A série GPT-Neo é um marco significativo na história da IA, demonstrando que modelos de linguagem de alta qualidade podem ser criados e compartilhados abertamente por grupos comunitários, não apenas entidades corporativas. Ela contribuiu para a democratização da IA e influenciou arquiteturas de modelos e metodologias de treinamento subsequentes. Em 2023, o GPT-Neo permanece amplamente usado em uma variedade de campos de pesquisa e aplicações digitais, mostrando um exemplo de como ecossistemas abertos podem impulsionar avanços na tecnologia de inteligência artificial e torná-la mais fundamental.