Le lancement de Jamba 1.5 en août 2024 a marqué une étape importante dans l'évolution des grands modèles de langage par AI21 Labs, une entreprise israélienne spécialisée dans le traitement du langage naturel. Cette sortie a introduit deux modèles, Jamba 1.5 Large et Jamba 1.5 Mini, conçus pour offrir des performances élevées avec une efficacité améliorée et une gestion de longs contextes. Ces modèles reposent sur une architecture hybride qui combine les atouts des transformeurs et des modèles d'espace d'état Mamba, utilisant une approche de mélange d'experts pour équilibrer le coût computationnel et la qualité de sortie.
Les modèles Jamba 1.5 prennent en charge une fenêtre de contexte allant jusqu'à 256 000 jetons, leur permettant de traiter et de raisonner sur de très longs documents, tels que des livres entiers ou de vastes bases de code. Cette capacité, associée à un accent sur l'efficacité, positionne Jamba 1.5 comme une option compétitive parmi les modèles à poids ouverts, en particulier pour les applications d'entreprise nécessitant le traitement de grands volumes de texte.
Contexte et Développement
AI21 Labs a été fondée en novembre 2017 par Yoav Shoham, Ori Goshen et Amnon Shashua à Tel Aviv, en Israël. L'entreprise a initialement attiré l'attention avec Wordtune, un assistant d'écriture basé sur l'IA lancé en octobre 2020, que Google a ensuite nommé l'une de ses extensions préférées de 2021. En août 2021, AI21 Labs a introduit AI21 Studio et le modèle de langage Jurassic-1, qui présentait un vocabulaire de jetons de plus de 250 000.
La trajectoire de l'entreprise a inclus plusieurs cycles de financement : un tour de table d'amorçage de 9,5 millions de dollars en janvier 2019, un investissement de 20 millions de dollars de Walden Catalyst en novembre 2021, une série A de 25 millions de dollars menée par Pitango First, une série B de 64 millions de dollars en juillet 2022, et une série C de 155 millions de dollars en août 2023, avec la participation de Google et Nvidia. Ces investissements ont soutenu le développement de modèles de plus en plus sophistiqués, y compris la sortie de Jurassic-2 en mars 2023.
Le prédécesseur direct de Jamba 1.5 était le modèle Jamba original, publié le 29 mars 2024. Jamba était un modèle à poids ouverts construit sur une architecture hybride Mamba-SSM et transformeur avec une conception de mélange d'experts, prenant en charge des longueurs de contexte allant jusqu'à 256 000 jetons. La famille Jamba 1.5 a affiné cette approche, améliorant l'efficacité et les performances.
Architecture Technique
Les modèles Jamba 1.5 utilisent une architecture hybride qui intègre l'attention multi-têtes des transformeurs avec les modèles d'espace d'état Mamba. Cette combinaison vise à capturer les forces des deux : la capacité des transformeurs à modéliser des dépendances complexes et l'efficacité des modèles d'espace d'état dans le traitement de longues séquences. Le mécanisme de mélange d'experts (MoE) n'active qu'un sous-ensemble des paramètres du modèle pour chaque jeton, réduisant le coût computationnel tout en maintenant une capacité élevée.
Cette conception permet à Jamba 1.5 de traiter de longs contextes sans la mise à l'échelle quadratique typique des modèles de transformeurs purs, le rendant plus efficace pour des tâches comme le résumé de documents, la réponse à des questions sur de longs textes et l'analyse de code. Les modèles ont été entraînés sur un ensemble de données diversifié, et leur nature à poids ouverts permet aux chercheurs et aux développeurs de les affiner pour des applications spécifiques.
Sortie et Disponibilité
Jamba 1.5 a été publié en août 2024, avec deux variantes : Jamba 1.5 Large et Jamba 1.5 Mini. Les modèles ont été mis à disposition sous une licence ouverte, permettant une utilisation et une modification étendues. En septembre 2024, AI21 Labs s'est associé à Amazon Web Services (AWS) pour proposer la famille Jamba 1.5 sur Amazon Bedrock, un service géré qui permet l'intégration de modèles d'IA dans des applications d'entreprise. Ce partenariat a facilité le déploiement pour les entreprises cherchant à tirer parti des capacités de long contexte de Jamba.
La sortie a positionné Jamba 1.5 comme un concurrent d'autres modèles à poids ouverts d'organisations comme OpenAI, Anthropic et Google DeepMind, bien que ces entreprises proposent principalement des modèles propriétaires. L'accent mis par Jamba 1.5 sur l'efficacité et la gestion de longs contextes a séduit les développeurs ayant besoin de traiter de grands ensembles de données sans encourir des coûts computationnels élevés.
Performances et Références
AI21 Labs a rapporté que les modèles Jamba 1.5 ont obtenu des résultats compétitifs sur diverses références, notamment en compréhension du langage naturel, en raisonnement et en génération de code. Les modèles ont été particulièrement remarqués pour leurs performances sur des tâches à long contexte, où ils pouvaient maintenir une précision sur des séquences allant jusqu'à 256 000 jetons. Cela constituait un différenciateur clé, car de nombreux modèles de l'époque peinaient avec des contextes aussi étendus.
Les gains d'efficacité issus de l'architecture hybride ont permis à Jamba 1.5 de fournir ces résultats avec des coûts d'inférence inférieurs à ceux de modèles de capacité similaire. Cela l'a rendu attractif pour les organisations disposant de ressources computationnelles limitées.
Adoption en Entreprise et Partenariats
Le partenariat avec AWS en septembre 2024 a été une étape majeure vers l'adoption en entreprise. En rendant Jamba 1.5 disponible sur Amazon Bedrock, AI21 Labs a permis aux entreprises d'intégrer les modèles dans leurs flux de travail avec la sécurité et l'évolutivité de l'infrastructure AWS. Cette décision s'inscrivait dans une tendance plus large des entreprises d'IA à s'associer à des fournisseurs de cloud pour atteindre un public plus large.
En mars 2025, AI21 Labs a publié Jamba 1.6 pour un déploiement privé en entreprise, affirmant qu'il surpassait d'autres modèles ouverts sur plusieurs références. Le même mois, l'entreprise a lancé Maestro, un système de planification et d'orchestration IA visant à améliorer la précision de modèles comme GPT-4o et Claude 3.5 Sonnet dans des tâches complexes. Ces développements indiquaient l'accent continu d'AI21 Labs sur les solutions d'entreprise.
Impact et Réception
Le lancement de Jamba 1.5 a été bien accueilli dans la communauté IA, en particulier pour son architecture hybride innovante et ses capacités de long contexte. Il a contribué à l'intérêt croissant pour les modèles d'espace d'état comme alternative aux architectures de transformeurs purs, qui dominaient le domaine depuis l'introduction du transformeur en 2017. Les chercheurs et les praticiens ont apprécié l'approche à poids ouverts, qui permettait l'expérimentation et la personnalisation.
Les modèles ont également suscité des discussions sur l'efficacité en IA, car la conception de mélange d'experts réduisait les coûts environnementaux et financiers de l'exécution de grands modèles. Cela s'alignait sur des efforts plus larges dans l'industrie pour rendre l'IA plus durable.
Orientations Futures
Après Jamba 1.5, AI21 Labs a continué à itérer sur sa famille de modèles, publiant Jamba 1.6 en mars 2025 avec des performances améliorées pour un usage en entreprise. L'entreprise a également élargi son écosystème de produits avec Maestro, qui visait à renforcer la fiabilité des systèmes d'IA dans des tâches complexes en plusieurs étapes. Ces efforts suggéraient une stratégie axée sur des solutions d'IA pratiques et déployables plutôt que sur la simple amélioration des scores de référence.
L'architecture hybride pionnière dans les modèles Jamba pourrait influencer les développements futurs en apprentissage automatique, alors que les chercheurs explorent des moyens de combiner différents types de modèles pour atteindre une meilleure efficacité et capacité. Le succès de Jamba 1.5 a démontré que les modèles d'espace d'état peuvent être efficacement intégrés aux transformeurs, ouvrant de nouvelles voies de recherche.
Voir Aussi
- Intelligence artificielle
- IA générative
- AI21 Labs
- Modèles d'espace d'état Mamba (si disponible)
Références
- Documentation officielle et communiqués de presse d'AI21 Labs.
- Rapports industriels sur le lancement de Jamba 1.5.
- Articles académiques sur les modèles hybrides transformeur-espace d'état.