Jurassic est une famille de grands modèles de langage développée par AI21 Labs, une entreprise israélienne d'intelligence artificielle fondée en 2017. La série Jurassic figure parmi les premiers modèles commerciaux à grande échelle basés sur l'architecture transformer, se positionnant comme concurrente des modèles d'OpenAI et d'Anthropic. La famille comprend plusieurs générations, du Jurassic-1 original publié en 2021 aux Jurassic-2 plus récents et à des variantes spécialisées, tous conçus pour des tâches de compréhension et de génération de langage naturel telles que la complétion de texte, le résumé et la réponse à des questions.
Les modèles sont construits sur l'architecture Transformer (architecture), un cadre d'apprentissage profond introduit en 2017 qui sous-tend la plupart des systèmes modernes d'IA générative. AI21 Labs a entraîné les modèles Jurassic sur de vastes corpus de textes, en utilisant des techniques de réseau neuronal et des méthodes d'optimisation comme Adam et la planification du taux d'apprentissage. Les modèles Jurassic sont disponibles via l'API propriétaire d'AI21 Labs, ainsi que sur des plateformes cloud comme Amazon Web Services (AWS), Microsoft Azure et Google Cloud, ce qui les rend accessibles aux développeurs et aux entreprises.
Historique et développement
AI21 Labs a annoncé Jurassic-1 en août 2021, avec deux tailles de modèles : J1-Jumbo (178 milliards de paramètres) et J1-Large (7,5 milliards de paramètres). À l'époque, J1-Jumbo figurait parmi les plus grands modèles de langage disponibles publiquement, comparable au GPT-3 d'OpenAI, qui comptait 175 milliards de paramètres. L'équipe de développement comprenait les cofondateurs d'AI21, Eilon Reshef et Dafna Sharon, ainsi que des chercheurs ayant des parcours en apprentissage automatique et en linguistique computationnelle.
En 2022, AI21 Labs a publié Jurassic-2, qui a introduit des améliorations dans le suivi d'instructions et le raisonnement. La famille Jurassic-2 comprenait des modèles comme J2-Jumbo, J2-Grande et J2-Mid, avec des nombres de paramètres allant de 7,8 milliards à 178 milliards. Ces modèles étaient optimisés pour des cas d'usage spécifiques, notamment les applications de IA générative dans le service client, la création de contenu et la génération de code.
En 2023, AI21 Labs a élargi la gamme Jurassic avec des modèles spécialisés. En octobre 2023, l'entreprise a publié Jurassic-2 Ultra, un modèle de 178 milliards de paramètres avec des capacités multilingues améliorées. L'année suivante, AI21 a introduit Jurassic-2 Mid et Jamba, ce dernier étant une architecture hybride combinant des couches transformer avec des modèles d'espace d'états, ce qui améliorait l'efficacité pour les tâches à contexte long.
Architecture et entraînement
Les modèles Jurassic sont basés sur l'architecture Transformer (architecture), plus précisément la variante décodeur seul, également utilisée par la série GPT d'OpenAI. Les modèles emploient des mécanismes de attention multi-têtes pour traiter les séquences d'entrée, ainsi que des encodages positionnels pour capturer l'ordre des mots. L'entraînement utilise l'attention croisée dans certaines variantes, bien que l'architecture de base soit autorégressive, prédisant le jeton suivant dans une séquence.
AI21 Labs a entraîné les modèles Jurassic en utilisant des ressources de calcul distribuées à grande échelle, probablement sur des GPU NVIDIA, bien que les détails matériels spécifiques ne soient pas documentés publiquement. Le processus d'entraînement impliquait des stratégies de augmentation de données et d'apprentissage par curriculum pour améliorer la généralisation. L'optimisation reposait sur des variantes de descente de gradient stochastique comme Adam, avec écrêtage de gradient et normalisation de couche pour stabiliser l'entraînement.
Les modèles utilisent des méthodes d'échantillonnage top-k et top-p pour la génération de texte, ainsi que la mise à l'échelle de température pour contrôler le caractère aléatoire des sorties. La recherche en faisceau est disponible pour les tâches nécessitant des sorties plus déterministes, comme la traduction ou le résumé.
Capacités et fonctionnalités
Les modèles Jurassic prennent en charge une large gamme de tâches de traitement du langage naturel. Ils peuvent effectuer la complétion de texte, le résumé, la paraphrase et la réponse à des questions. Les modèles gèrent également la génération et la complétion de code, ce qui les rend utiles pour les flux de travail de développement logiciel. Jurassic-2 et les versions ultérieures incluent des capacités de suivi d'instructions, permettant aux utilisateurs de spécifier des tâches en langage naturel sans réglage fin.
Une caractéristique notable est le support de plusieurs langues. Les modèles Jurassic-2 ont été entraînés sur des données dans plus de 100 langues, avec une force particulière en anglais, espagnol, français, allemand et hébreu, reflétant les origines israéliennes d'AI21 Labs. Les modèles prennent également en charge des entrées structurées, comme JSON et SQL, permettant l'intégration avec des bases de données et des API.
AI21 Labs fournit une plateforme de développement avec une API qui inclut des fonctionnalités comme le réglage fin de modèles personnalisés, la recherche sémantique et un outil de vérification des faits appelé « Wordtune Read » et « Wordtune Write », qui sont des produits distincts mais partagent la technologie sous-jacente.
Comparaison avec d'autres modèles
Les modèles Jurassic concurrencent directement le GPT-3 et le GPT-4 d'OpenAI, le Claude d'Anthropic et le Gemini de Google DeepMind. Dans les évaluations de référence, Jurassic-1 Jumbo a obtenu des performances comparables à GPT-3 sur des tâches comme SuperGLUE et LAMBADA, bien qu'il ait été en retrait sur certains benchmarks de raisonnement. Jurassic-2 a amélioré ces scores, notamment dans le dialogue multi-tours et le suivi d'instructions.
Un différenciateur clé est l'accent mis par AI21 Labs sur les applications d'entreprise. L'entreprise met l'accent sur la confidentialité des données et propose des options de déploiement sur site, ce qui attire les organisations ayant des exigences de conformité strictes. De plus, les modèles Jurassic sont disponibles sur AWS via Amazon Bedrock, sur Azure via les services d'IA de Microsoft et sur Google Cloud Vertex AI, offrant plusieurs chemins d'intégration.
Applications et cas d'usage
Les modèles Jurassic sont utilisés dans diverses industries. Dans le service client, ils alimentent des chatbots et des assistants virtuels qui gèrent les demandes et résolvent les problèmes. Dans la création de contenu, ils aident à rédiger des articles, des textes marketing et des publications sur les réseaux sociaux. Les cabinets juridiques et financiers utilisent Jurassic pour le résumé de documents et l'analyse de contrats.
AI21 Labs propose également des outils spécialisés basés sur Jurassic, comme Wordtune, un assistant d'écriture alimenté par l'IA qui suggère des reformulations et des ajustements de ton. L'entreprise a établi des partenariats avec Samsung pour intégrer des fonctionnalités d'IA dans les appareils mobiles, et avec Intel pour l'optimisation matérielle.
Performance et benchmarks
Les modèles Jurassic ont été évalués sur des benchmarks NLP standard. Sur le benchmark SuperGLUE, J1-Jumbo a obtenu un score de 82,4, légèrement inférieur à celui de GPT-3, qui était de 83,5. Sur le test de modélisation du langage LAMBADA, J1-Jumbo a atteint une précision de 82,5 %. Les modèles Jurassic-2 ont montré des améliorations dans l'apprentissage en quelques exemples, avec J2-Jumbo surpassant GPT-3 sur plusieurs tâches du benchmark MMLU.
En 2023, AI21 Labs a rapporté que Jurassic-2 Ultra avait obtenu des résultats de pointe sur le benchmark HELM pour certaines tâches, bien que la vérification indépendante soit limitée. L'entreprise publie des métriques de performance sur son site web, mais les méthodologies d'évaluation détaillées ne sont pas toujours divulguées.
Disponibilité et tarification
Les modèles Jurassic sont accessibles via l'API d'AI21 Labs, qui propose un modèle de tarification à l'utilisation basé sur les jetons traités. En 2024, les prix commencent à 0,01 $ pour 1 000 jetons pour les plus petits modèles et augmentent pour les plus grands. L'API prend en charge les requêtes synchrones et asynchrones, avec une longueur de contexte maximale de 8 192 jetons pour la plupart des modèles.
AI21 Labs propose également un niveau gratuit pour permettre aux développeurs d'expérimenter avec les modèles. Les clients d'entreprise peuvent négocier des contrats personnalisés, y compris une infrastructure dédiée et des accords de niveau de service. Les modèles sont également disponibles sur des places de marché cloud, comme AWS Marketplace et Azure Marketplace.
Orientations futures
AI21 Labs continue de développer la famille Jurassic, en se concentrant sur l'amélioration de l'efficacité et la réduction des coûts de calcul. L'entreprise a exploré des techniques de élagage de modèles et de réseau résiduel pour créer des modèles plus petits et plus rapides sans perte de performance significative. En 2024, AI21 a annoncé des recherches sur des architectures hybrides combinant des couches transformer avec des composants récurrents, visant à traiter des séquences plus longues plus efficacement.
L'entreprise investit également dans l'alignement et la sécurité, en utilisant des méthodes comme l'apprentissage par renforcement à partir de retours d'IA pour réduire les sorties nuisibles. Alors que le domaine de l'IA générative évolue, les modèles Jurassic devraient intégrer davantage de capacités multimodales, traitant potentiellement des images et de l'audio en plus du texte.
Réception et impact
Les modèles Jurassic ont été bien accueillis dans la communauté de l'IA pour leurs performances solides et leur accessibilité. AI21 Labs a levé des fonds importants, y compris un tour de série C de 208 millions de dollars en 2022, valorisant l'entreprise à plus de 1,4 milliard de dollars. Les modèles ont été utilisés dans la recherche académique et les applications industrielles, contribuant à l'adoption plus large des grands modèles de langage en dehors des grandes entreprises technologiques américaines dominantes.
Les critiques notent que les modèles Jurassic n'ont pas atteint le même niveau de reconnaissance publique que GPT-4 ou Claude, en partie en raison d'un marketing moins agressif. Cependant, les modèles sont respectés pour leurs capacités multilingues et leur orientation entreprise, faisant d'AI21 Labs un acteur notable dans le paysage concurrentiel de l'IA.