Jurassic é uma família de modelos de linguagem de grande porte desenvolvida pela AI21 Labs, uma empresa israelense de inteligência artificial fundada em 2017. A série Jurassic está entre os primeiros modelos comerciais de larga escala baseados em transformadores, posicionando-se como concorrente de modelos da OpenAI e da Anthropic. A família inclui várias gerações, desde o Jurassic-1 original, lançado em 2021, até o mais recente Jurassic-2 e variantes especializadas, todos projetados para tarefas de compreensão e geração de linguagem natural, como conclusão de texto, sumarização e resposta a perguntas.
Os modelos são construídos sobre a arquitetura transformador, um framework de aprendizado profundo introduzido em 2017 que sustenta a maioria dos sistemas modernos de IA generativa. A AI21 Labs treinou os modelos Jurassic em extensos corpora de texto, usando técnicas de rede neural e métodos de otimização como Adam e agendamento de taxa de aprendizado. Os modelos Jurassic estão disponíveis por meio da API proprietária da AI21 Labs, bem como em plataformas de nuvem, incluindo Amazon Web Services (AWS), Microsoft Azure e Google Cloud, tornando-os acessíveis a desenvolvedores e empresas.
Histórico e Desenvolvimento
A AI21 Labs anunciou o Jurassic-1 em agosto de 2021, com dois tamanhos de modelo: J1-Jumbo (178 bilhões de parâmetros) e J1-Large (7,5 bilhões de parâmetros). Na época, o J1-Jumbo estava entre os maiores modelos de linguagem disponíveis publicamente, comparável ao GPT-3 da OpenAI, que tinha 175 bilhões de parâmetros. A equipe de desenvolvimento incluía os cofundadores da AI21, Eilon Reshef e Dafna Sharon, além de pesquisadores com formação em aprendizado de máquina e linguística computacional.
Em 2022, a AI21 Labs lançou o Jurassic-2, que introduziu melhorias no seguimento de instruções e no raciocínio. A família Jurassic-2 incluía modelos como J2-Jumbo, J2-Grande e J2-Mid, com contagens de parâmetros variando de 7,8 bilhões a 178 bilhões. Esses modelos foram otimizados para casos de uso específicos, incluindo aplicações de IA generativa em atendimento ao cliente, criação de conteúdo e geração de código.
Em 2023, a AI21 Labs expandiu a linha Jurassic com modelos especializados. Em outubro de 2023, a empresa lançou o Jurassic-2 Ultra, um modelo de 178 bilhões de parâmetros com capacidades multilíngues aprimoradas. No ano seguinte, a AI21 introduziu o Jurassic-2 Mid e o Jamba, sendo este último uma arquitetura híbrida que combina camadas de transformador com modelos de espaço de estado, o que melhorou a eficiência para tarefas de contexto longo.
Arquitetura e Treinamento
Os modelos Jurassic são baseados na arquitetura transformador, especificamente na variante somente decodificador, que também é usada pela série GPT da OpenAI. Os modelos empregam mecanismos de atenção de múltiplas cabeças para processar sequências de entrada, juntamente com codificações posicionais para capturar a ordem das palavras. O treinamento usa atenção cruzada em algumas variantes, embora a arquitetura central seja autorregressiva, prevendo o próximo token em uma sequência.
A AI21 Labs treinou os modelos Jurassic usando recursos de computação distribuída em larga escala, provavelmente em GPUs NVIDIA, embora detalhes específicos de hardware não sejam documentados publicamente. O processo de treinamento envolveu estratégias de aumento de dados e aprendizado curricular para melhorar a generalização. A otimização dependia de variantes de descida de gradiente estocástico, como Adam, com recorte de gradiente e normalização de camada para estabilizar o treinamento.
Os modelos usam métodos de amostragem top-k e top-p para geração de texto, juntamente com escalonamento de temperatura para controlar a aleatoriedade da saída. A busca em feixe está disponível para tarefas que exigem saídas mais determinísticas, como tradução ou sumarização.
Capacidades e Recursos
Os modelos Jurassic suportam uma ampla gama de tarefas de processamento de linguagem natural. Eles podem realizar conclusão de texto, sumarização, paráfrase e resposta a perguntas. Os modelos também lidam com geração e conclusão de código, tornando-os úteis para fluxos de trabalho de desenvolvimento de software. O Jurassic-2 e versões posteriores incluem capacidades de seguimento de instruções, permitindo que os usuários especifiquem tarefas em linguagem natural sem ajuste fino.
Um recurso notável é o suporte a múltiplos idiomas. Os modelos Jurassic-2 foram treinados em dados de mais de 100 idiomas, com particular força em inglês, espanhol, francês, alemão e hebraico, refletindo as origens israelenses da AI21 Labs. Os modelos também suportam entradas estruturadas, como JSON e SQL, permitindo integração com bancos de dados e APIs.
A AI21 Labs fornece uma plataforma de desenvolvedor com uma API que inclui recursos como ajuste fino de modelos personalizados, busca semântica e uma ferramenta de verificação de fatos chamada "Wordtune Read" e "Wordtune Write", que são produtos separados, mas compartilham tecnologia subjacente.
Comparação com Outros Modelos
Os modelos Jurassic competem diretamente com o GPT-3 e GPT-4 da OpenAI, o Claude da Anthropic e o Gemini do Google DeepMind. Em avaliações de benchmark, o Jurassic-1 Jumbo teve desempenho comparável ao GPT-3 em tarefas como SuperGLUE e LAMBADA, embora tenha ficado atrás em alguns benchmarks de raciocínio. O Jurassic-2 melhorou essas pontuações, particularmente em diálogo de múltiplas voltas e seguimento de instruções.
Um diferencial importante é o foco da AI21 Labs em aplicações empresariais. A empresa enfatiza a privacidade de dados e oferece opções de implantação local, que atraem organizações com requisitos rigorosos de conformidade. Além disso, os modelos Jurassic estão disponíveis na AWS por meio do Amazon Bedrock, no Azure por meio dos serviços de IA da Microsoft e no Google Cloud Vertex AI, fornecendo múltiplos caminhos de integração.
Aplicações e Casos de Uso
Os modelos Jurassic são usados em várias indústrias. No atendimento ao cliente, eles alimentam chatbots e assistentes virtuais que lidam com consultas e resolvem problemas. Na criação de conteúdo, eles auxiliam na redação de artigos, textos de marketing e postagens em redes sociais. Empresas jurídicas e financeiras usam o Jurassic para sumarização de documentos e análise de contratos.
A AI21 Labs também oferece ferramentas especializadas construídas sobre o Jurassic, como o Wordtune, um assistente de escrita baseado em IA que sugere reformulações e ajustes de tom. A empresa fez parceria com a Samsung para integrar recursos de IA em dispositivos móveis e com a Intel para otimização de hardware.
Desempenho e Benchmarks
Os modelos Jurassic foram avaliados em benchmarks padrão de PLN. No benchmark SuperGLUE, o J1-Jumbo alcançou uma pontuação de 82,4, ligeiramente abaixo do 83,5 do GPT-3. No teste de modelagem de linguagem LAMBADA, o J1-Jumbo atingiu 82,5% de precisão. Os modelos Jurassic-2 mostraram melhorias no aprendizado de poucos exemplos, com o J2-Jumbo superando o GPT-3 em várias tarefas no benchmark MMLU.
Em 2023, a AI21 Labs relatou que o Jurassic-2 Ultra alcançou resultados de última geração no benchmark HELM para algumas tarefas, embora a verificação independente seja limitada. A empresa publica métricas de desempenho em seu site, mas metodologias de avaliação detalhadas nem sempre são divulgadas.
Disponibilidade e Preços
Os modelos Jurassic são acessíveis por meio da API da AI21 Labs, que oferece um modelo de preços de pagamento conforme o uso baseado em tokens processados. Em 2024, os preços começam em US$ 0,01 por 1.000 tokens para os menores modelos e aumentam para os maiores. A API suporta solicitações síncronas e assíncronas, com um comprimento máximo de contexto de 8.192 tokens para a maioria dos modelos.
A AI21 Labs também fornece um nível gratuito para desenvolvedores experimentarem os modelos. Clientes empresariais podem negociar contratos personalizados, incluindo infraestrutura dedicada e acordos de nível de serviço. Os modelos também estão disponíveis em marketplaces de nuvem, como AWS Marketplace e Azure Marketplace.
Direções Futuras
A AI21 Labs continua a desenvolver a família Jurassic, com foco em melhorar a eficiência e reduzir os custos computacionais. A empresa explorou técnicas de poda de modelo e rede residual para criar modelos menores e mais rápidos sem perda significativa de desempenho. Em 2024, a AI21 anunciou pesquisa em arquiteturas híbridas que combinam camadas de transformador com componentes recorrentes, visando lidar com sequências mais longas de forma mais eficiente.
A empresa também está investindo em alinhamento e segurança, usando métodos como aprendizado por reforço a partir de feedback de IA para reduzir saídas prejudiciais. À medida que o campo da IA generativa evolui, espera-se que os modelos Jurassic integrem mais capacidades multimodais, potencialmente processando imagens e áudio além de texto.
Recepção e Impacto
Os modelos Jurassic foram bem recebidos na comunidade de IA por seu forte desempenho e acessibilidade. A AI21 Labs levantou financiamento significativo, incluindo uma rodada Série C de US$ 208 milhões em 2022, avaliando a empresa em mais de US$ 1,4 bilhão. Os modelos foram usados em pesquisa acadêmica e aplicações industriais, contribuindo para a adoção mais ampla de modelos de linguagem de grande porte fora das empresas de tecnologia dominantes dos EUA.
Críticos observam que os modelos Jurassic não alcançaram o mesmo nível de reconhecimento público que o GPT-4 ou o Claude, em parte devido a um marketing menos agressivo. No entanto, os modelos são respeitados por suas capacidades multilíngues e foco empresarial, tornando a AI21 Labs um player notável no cenário competitivo de IA.