Jais é um modelo de linguagem de grande porte de código aberto, projetado para gerar texto de alta qualidade tanto em árabe quanto em inglês. Lançado em agosto de 2023, foi desenvolvido por meio de uma colaboração entre a empresa de IA dos Emirados Árabes G42, a Universidade de Inteligência Artificial Mohamed bin Zayed (MBZUAI) e a empresa de hardware estadunidense Cerebras Systems. O modelo foi criado para abordar a sub-representação da língua árabe na inteligência artificial generativa, com o objetivo de atender aos 400 milhões de falantes de árabe do mundo com resultados cultural e linguisticamente precisos. Seu nome faz referência ao Jebel Jais, a montanha mais alta dos Emirados Árabes Unidos.
Antecedentes e desenvolvimento
Jais surgiu do reconhecimento de que os modelos de linguagem de grande porte existentes frequentemente apresentavam desempenho ruim em árabe devido a dados de treinamento limitados ou de baixa qualidade. O projeto representa um investimento significativo dos Emirados Árabes Unidos em inteligência artificial como parte de sua estratégia nacional. A parceria de desenvolvimento envolveu a Inception (agora Core42), uma subsidiária da G42; a MBZUAI, uma universidade de pesquisa dedicada à IA; e a Cerebras Systems, que forneceu hardware especializado de IA. A colaboração teve como objetivo criar um modelo capaz de lidar com os diversos dialetos e nuances culturais do árabe, que eram frequentemente negligenciados em modelos treinados predominantemente com dados em inglês.
Treinamento
A versão inicial do Jais, lançada em agosto de 2023, tinha 13 bilhões de parâmetros. Em novembro de 2023, a Core42 lançou uma versão aprimorada, o Jais 30B, com 30 bilhões de parâmetros. Ambos os modelos foram treinados em um subconjunto do supercomputador Cerebras Condor Galaxy 1, um sistema de computação poderoso projetado para tarefas de aprendizado profundo em grande escala. O conjunto de dados de treinamento compreendia uma mistura de árabe, inglês e código de computador. De acordo com Timothy Baldwin, professor de processamento de linguagem natural na MBZUAI, o treinamento em um conjunto de dados árabe diversificado permite que o modelo alterne entre dialetos, aumentando sua utilidade prática para falantes de árabe.
Recursos
Jais é projetado para gerar texto em inglês e árabe, tornando-o uma ferramenta bilíngue para uma ampla gama de aplicações. O projeto também lançou variantes "Chat" ajustadas por instruções para os modelos de 13B e 30B, que são especificamente otimizadas para casos de uso conversacionais. Essas variantes são ajustadas para seguir instruções do usuário e participar de diálogos, semelhantes a outros modelos baseados em transformadores. Lançamentos futuros estão planejados para incluir funcionalidades adicionais para trabalhar com imagens, gráficos e dados tabulares, expandindo as capacidades do modelo além da geração de texto.
Impacto e significado
Jais contribui para a diversificação do cenário de modelos de linguagem de grande porte, que tem sido dominado por modelos centrados no inglês de empresas como OpenAI e Google DeepMind. Ao focar no árabe, o Jais ajuda a preencher a lacuna na acessibilidade da IA para uma grande população que tem sido mal atendida pelas tecnologias existentes. A natureza de código aberto do modelo permite que pesquisadores e desenvolvedores o adaptem e melhorem, promovendo a inovação no processamento de linguagem natural em árabe e em áreas relacionadas. Na época de seu lançamento, o Jais representava um passo notável em direção a uma IA mais inclusiva, embora seu impacto de longo prazo dependa da adoção pela comunidade e do desenvolvimento contínuo.
Referências
Links externos
Site oficial