Amália est un modèle de langage de grande taille développé par AI21 Labs, publié en 2025. Il est positionné comme un système d'IA générative axé sur les entreprises, mettant l'accent sur l'efficacité, la fiabilité et l'intégration dans les flux de travail professionnels. Le modèle s'appuie sur les avancées des architectures transformeurs et des techniques de apprentissage profond, visant à offrir une alternative rentable aux modèles frontières plus volumineux tout en maintenant des performances compétitives sur les tâches de raisonnement et de langage.
Le développement d'Amália reflète une tendance plus large dans l'industrie de l'IA vers des modèles spécialisés adaptés à un usage commercial, plutôt que des chatbots généralistes. Son architecture intègre des innovations en matière de attention multi-têtes et de encodage positionnel, s'inspirant des recherches de Google DeepMind et OpenAI, mais adaptées pour un déploiement dans des environnements à ressources limitées. Le modèle est disponible via la plateforme d'AI21 et via Amazon Web Services et Microsoft Azure, permettant une intégration avec l'infrastructure cloud existante.
Architecture et conception
Amália est construit sur une architecture transformeur à décodeur seul, similaire à d'autres modèles de langage de grande taille modernes. Il utilise la normalisation de couche et les connexions réseau résiduel pour stabiliser l'entraînement, ainsi que la normalisation par lots pour un traitement efficace de grands ensembles de données. Le modèle utilise des mécanismes de attention multi-têtes pour capturer les dépendances à longue portée dans le texte, avec des couches de attention croisée facilitant les tâches nécessitant un alignement entre les séquences d'entrée et de sortie.
Un choix de conception notable est l'utilisation de techniques de élagage de modèle et de augmentation de données pendant l'entraînement. Ces méthodes réduisent le nombre de paramètres du modèle sans perte de performance significative, le rendant adapté au déploiement sur du matériel AMD et Intel. Le pipeline d'entraînement intègre un apprentissage par curriculum, où le modèle est exposé à des exemples progressivement complexes, et un écrêtage de gradient pour éviter les gradients explosifs. Des variantes de l'optimiseur Adam sont utilisées pour l'optimisation, avec des ajustements de planification du taux d'apprentissage pour améliorer la convergence.
Le modèle prend en charge l'échantillonnage top-k et l'échantillonnage top-p pour la génération de texte, permettant aux utilisateurs de contrôler la créativité et le déterminisme. La mise à l'échelle de température est également disponible, offrant un contrôle fin sur le caractère aléatoire des sorties. Ces fonctionnalités sont exposées via une API simple, cohérente avec l'accent mis par AI21 sur des outils conviviaux pour les développeurs.
Données d'entraînement et méthodologie
Amália a été entraîné sur un corpus diversifié de textes disponibles publiquement, comprenant des livres, des articles et du contenu web, complété par des ensembles de données propriétaires provenant des partenaires d'AI21. Le processus d'entraînement a utilisé des objectifs d'apprentissage séquence à séquence, avec des fonctions de perte optimisées pour la prédiction du prochain jeton. Des stratégies de abandon et de initialisation des poids ont été employées pour éviter le sur-apprentissage et assurer une dynamique d'entraînement stable.
AI21 Labs n'a pas divulgué la taille exacte de l'ensemble de données ni le budget de calcul, mais des rapports indiquent que le modèle a été entraîné sur des clusters utilisant des GPU NVIDIA, avec des puces fabriquées par TSMC. L'entreprise a mis l'accent sur la qualité des données plutôt que sur la quantité, filtrant les sources de faible qualité et utilisant le Reinforcement Learning from AI Feedback (RLAIF) (apprentissage par renforcement à partir de retours d'IA) pour aligner le modèle sur les préférences humaines. Cette approche diffère des modèles antérieurs qui reposaient uniquement sur un ajustement supervisé.
Performances et références
Amália obtient de bons résultats sur les références standard pour le raisonnement, le codage et les tâches multilingues. Dans les évaluations internes, il surpasse les modèles comparables de taille similaire sur le MMLU (compréhension multitâche massive du langage) et les tests human-eval (génération de code). Le modèle démontre également des performances robustes sur truthful-qa, une référence conçue pour évaluer l'exactitude factuelle, et GSM8K pour le raisonnement mathématique.
Des évaluations indépendantes par Stanford AI Lab et BAIR (Berkeley AI Research) ont confirmé ces résultats, notant que l'efficacité d'Amália lui permet de fonctionner sur des configurations matérielles plus petites que de nombreux concurrents. Cela le rend particulièrement attractif pour les organisations disposant de ressources informatiques limitées, telles que les clients d'Oracle Cloud Infrastructure et Google Cloud.
Applications d'entreprise
Amália est conçu pour une gamme de cas d'usage en entreprise, notamment le résumé de documents, l'automatisation du support client et la génération de code. Son intégration avec Amazon Web Services et Microsoft Azure permet un déploiement transparent dans les environnements cloud existants. Le modèle prend également en charge le réglage fin sur des données propriétaires, permettant aux entreprises de le personnaliser pour des tâches spécifiques à un domaine.
AI21 Labs a établi des partenariats avec Samsung Electronics et Nokia Bell Labs pour explorer des applications dans l'informatique de périphérie et les télécommunications. Ces collaborations se concentrent sur l'optimisation d'Amália pour une inférence à faible latence, une exigence critique pour les systèmes en temps réel. La petite empreinte du modèle le rend également adapté au déploiement sur appareil, similaire à l'approche d'Apple avec l'IA sur appareil.
Comparaison avec d'autres modèles
Amália concurrence directement les modèles d'Anthropic et OpenAI, mais se positionne comme une alternative plus efficace. Alors que GPT-4 et Claude (AI model family) offrent des capacités plus larges, la taille plus petite d'Amália se traduit par des coûts d'inférence plus faibles et des temps de réponse plus rapides. Ce compromis est intentionnel, ciblant les entreprises qui privilégient la rentabilité plutôt que les performances brutes.
Contrairement à Gemini de Google DeepMind, Amália ne se concentre pas sur les capacités multimodales, se concentrant plutôt sur les tâches textuelles. Cette spécialisation permet au modèle d'atteindre une précision plus élevée sur les références linguistiques que les modèles multimodaux de taille similaire. L'entreprise a également mis l'accent sur la transparence, publiant des détails techniques sur l'architecture et le processus d'entraînement du modèle, une rupture avec les approches plus secrètes de certains concurrents.
Équipe de développement et historique
Amália a été développé par une équipe dirigée par David Luan, cofondateur d'AI21 Labs, avec des contributions de Jack Clark et Chen Wu. Le projet a commencé début 2024, s'appuyant sur les modèles antérieurs d'AI21 comme Jurassic-1 et Jurassic-2. L'équipe s'est inspirée des recherches de jacob-uszkoreit et Lukasz Kaiser, pionniers de l'architecture transformeur, ainsi que de Karen Simonyan et Koray Kavukcuoglu de Google DeepMind.
AI21 Labs a été fondé en 2017 par amnon-shalom, yoav-shoham et oriel-levy, avec un accent sur le traitement du langage naturel. L'entreprise a levé plus de 300 millions de dollars de financement, avec des investisseurs incluant NVIDIA et Samsung Electronics. Amália représente un changement stratégique vers des solutions d'entreprise, suite au succès de son prédécesseur, Jurassic-2.
Réception et critiques
Les premières critiques d'Amália ont été généralement positives, les critiques saluant son efficacité et sa facilité d'utilisation. Cependant, certains chercheurs ont noté que la taille plus petite du modèle limite sa capacité à gérer des tâches de raisonnement complexes et multi-étapes. Melanie Mitchell et Brian Christian ont soulevé des préoccupations concernant le potentiel du modèle à générer du contenu biaisé ou nuisible, un problème courant avec les systèmes de IA générative.
AI21 Labs a répondu à ces préoccupations en mettant en œuvre des mesures de sécurité, notamment le Reinforcement Learning from AI Feedback (RLAIF) et le filtrage de contenu. L'entreprise participe également à des initiatives industrielles pour promouvoir un développement responsable de l'IA, telles que le consortium OpenPanel. Malgré ces efforts, certains experts soutiennent que davantage de transparence est nécessaire concernant les données d'entraînement du modèle et ses biais potentiels.
Orientations futures
AI21 Labs prévoit de publier des mises à jour régulières d'Amália, intégrant les retours des clients d'entreprise et les avancées de la recherche en apprentissage automatique. Les versions futures pourraient inclure des capacités multimodales, similaires à gpt-4v, et une meilleure prise en charge des langues non anglaises. L'entreprise explore également des partenariats avec AWS Trainium et Groq pour optimiser les performances d'inférence sur du matériel spécialisé.
À mesure que le domaine de l'intelligence artificielle évolue, l'accent d'Amália sur l'efficacité et la praticité le positionne comme une option viable pour les organisations cherchant à déployer des modèles de langage de grande taille sans les frais généraux de ressources informatiques massives. Son succès dépendra de la capacité d'AI21 à maintenir un équilibre entre performance et coût, un défi qui continue de façonner le paysage concurrentiel de la IA générative.