OPT-175B é um modelo de linguagem de grande escala desenvolvido pela Meta AI, lançado em maio de 2022. Com 175 bilhões de parâmetros, foi projetado para igualar a escala do GPT-3 da OpenAI, sendo disponibilizado abertamente para pesquisadores. O lançamento do modelo incluiu seus pesos, código e registros de treinamento, um afastamento das práticas fechadas de muitos laboratórios de IA contemporâneos. Essa transparência visava fomentar pesquisa reproduzível e uma compreensão mais profunda de redes neurais em grande escala.
O OPT-175B é construído sobre a arquitetura transformador, especificamente um design autorregressivo apenas com decodificador. Ele usa uma estrutura semelhante ao GPT-3, com 96 camadas, 96 cabeças de atenção e uma dimensão oculta de 12.288. O modelo foi treinado em um corpus diversificado de texto publicamente disponível, totalizando aproximadamente 180 bilhões de tokens. Esse conjunto de dados incluía livros, texto da web e outras fontes, filtrado para remover conteúdo de baixa qualidade ou duplicado. O treinamento usou 992 GPUs A100 de 80GB, consumindo cerca de 2,5 milhões de horas de GPU, um custo significativo, mas reduzido em comparação a modelos anteriores, devido a técnicas eficientes de paralelismo.
Treinamento e Otimização
O processo de treinamento do OPT-175B empregou várias técnicas avançadas para gerenciar sua escala. A Meta usou uma combinação de paralelismo de dados, modelo e pipeline no cluster de GPUs. Eles também implementaram recorte de gradiente para estabilizar o treinamento e usaram um esquema de taxa de aprendizado com uma fase de aquecimento seguida de decaimento cosseno. O modelo foi treinado com o otimizador Adam, usando um tamanho de lote de 4 milhões de tokens. Para reduzir o uso de memória, eles usaram treinamento de precisão mista, armazenando pesos em FP16 e usando FP32 para estados do otimizador. Os registros de treinamento, divulgados publicamente, documentaram desafios como picos de perda e as respostas da equipe, fornecendo uma visão rara sobre a dinâmica do treinamento em grande escala.
Impacto do Código Aberto
O lançamento do OPT-175B foi um marco no cenário de modelos de linguagem de grande escala. Antes dele, modelos dessa escala, como o GPT-3, estavam disponíveis apenas por meio de APIs pagas, limitando o estudo acadêmico. Ao fornecer pesos abertos, a Meta permitiu que pesquisadores executassem, ajustassem e investigassem o modelo diretamente. Isso levou a uma onda de estudos sobre tópicos como viés, toxicidade e interpretabilidade. O modelo também serviu como base para modelos abertos subsequentes, como BLOOM e LLaMA, que se basearam em suas lições. No entanto, o lançamento aberto também levantou preocupações sobre uso indevido, pois o modelo poderia gerar desinformação ou spam convincentes. A Meta abordou isso exigindo que pesquisadores se candidatassem para obter acesso, embora os pesos ainda fossem mais acessíveis do que os de modelos proprietários típicos.
Desempenho e Avaliação
Em benchmarks padrão, o OPT-175B teve desempenho comparável ao GPT-3, embora com pequenas variações. Por exemplo, no conjunto SuperGLUE, alcançou pontuações semelhantes, enquanto em algumas tarefas de raciocínio, como o Winograd Schema, mostrou diferenças menores. O modelo se destacou no aprendizado de poucos exemplos, igualando a capacidade do GPT-3 de se adaptar a novas tarefas com apenas alguns exemplos. No entanto, ele teve dificuldades com certos tipos de recordação factual e às vezes produzia informações alucinadas. A avaliação da Meta também incluiu testes de preferência humana, nos quais o OPT-175B foi classificado como competitivo com o GPT-3 em geração de texto aberto, embora ficasse atrás em algumas tarefas estruturadas. O desempenho do modelo em geração de código foi menos robusto, refletindo o conteúdo limitado de código em seus dados de treinamento.
Limitações e Considerações Éticas
Como outros modelos grandes, o OPT-175B exibiu vieses presentes em seus dados de treinamento. A própria análise da Meta descobriu que ele poderia produzir conteúdo estereotipado ou ofensivo, particularmente em relação a gênero, raça e religião. O modelo também tinha tendência a repetir frases e poderia ser facilmente induzido a gerar texto prejudicial. Para mitigar esses problemas, a Meta forneceu um cartão de modelo detalhado e incentivou o uso responsável. Eles também lançaram uma versão menor, o OPT-1.3B, para experimentação mais fácil. O debate ético em torno da abertura de modelos tão poderosos continuou, com alguns argumentando que a transparência superava os riscos, enquanto outros pediam acesso mais controlado. Em 2024, o OPT-175B permanece como um ponto de referência para o desenvolvimento de modelos abertos, embora modelos mais novos tenham superado suas capacidades.
Legado e Influência
O OPT-175B influenciou a direção da pesquisa em IA ao demonstrar que modelos de grande escala poderiam ser abertos sem consequências catastróficas. Ele abriu caminho para a série LLaMA da Meta, que melhorou ainda mais a eficiência e a acessibilidade. O modelo também contribuiu para o desenvolvimento de técnicas de treinamento e inferência eficientes, como checkpointing de ativação e paralelismo de tensor. Seus registros públicos de treinamento tornaram-se um recurso valioso para entender os desafios práticos da escalabilidade. Embora não seja o modelo mais poderoso hoje, o OPT-175B ocupa um lugar significativo na história da IA generativa, representando uma mudança em direção à abertura em um campo dominado por sistemas proprietários. Seu lançamento incentivou outros laboratórios, como AI21 Labs e Inflection AI, a considerar estratégias abertas, embora muitos ainda escolhessem abordagens fechadas.