Determined AI est une plateforme open-source conçue pour rationaliser la formation et la gestion de modèles d'apprentissage profond. Elle fournit une suite d'outils pour la formation distribuée, le réglage des hyperparamètres et le suivi des expériences, visant à réduire la complexité et le temps nécessaires pour faire évoluer les flux de travail d'apprentissage automatique. La plateforme est conçue pour prendre en charge les principaux frameworks d'apprentissage profond et s'intègre à l'infrastructure existante, y compris les clusters sur site et les environnements cloud.
Historique et développement
Determined AI a été fondée en 2017 par Neil Conway, Evan Sparks et d'autres, avec pour objectif de rendre l'apprentissage profond plus accessible et plus efficace. L'entreprise était initialement basée à San Francisco, en Californie. En 2021, Determined AI a été acquise par Hewlett Packard Enterprise (HPE), qui a intégré la plateforme à ses offres de calcul haute performance et d'IA. Cette acquisition a permis à HPE de fournir aux clients une solution unifiée pour la formation et le déploiement de modèles d'IA à grande échelle.
Fonctionnalités principales
La plateforme offre plusieurs fonctionnalités clés qui la distinguent des autres outils de formation. La formation distribuée est une capacité principale, permettant aux utilisateurs de faire évoluer la formation de modèles sur plusieurs GPU et nœuds avec des modifications minimales du code. La plateforme gère automatiquement le parallélisme des données, le parallélisme des modèles et la tolérance aux pannes, réduisant ainsi la charge opérationnelle pour les scientifiques des données. Le réglage des hyperparamètres est une autre fonctionnalité importante, avec des algorithmes intégrés tels que l'optimisation bayésienne et la recherche asynchrone pour explorer efficacement l'espace des paramètres. La plateforme comprend également la gestion des expériences, fournissant un tableau de bord centralisé pour suivre les métriques, comparer les exécutions et partager les résultats entre les équipes.
Architecture et intégration
Determined AI est construite sur une architecture client-serveur, avec un nœud maître gérant l'ordonnancement des tâches et l'allocation des ressources. La plateforme prend en charge les principaux frameworks d'apprentissage profond, notamment PyTorch, TensorFlow et Keras, et peut fonctionner sur diverses configurations matérielles, y compris les GPU NVIDIA et les accélérateurs AMD. Elle s'intègre aux systèmes d'orchestration de conteneurs comme Kubernetes et peut être déployée sur des fournisseurs cloud tels que Amazon Web Services, Google Cloud et Microsoft Azure. La plateforme fournit également une interface en ligne de commande et un SDK Python pour un accès programmatique.
Cas d'utilisation et adoption
Determined AI est utilisée par des organisations de divers secteurs, notamment la santé, la finance et la conduite autonome. Par exemple, des chercheurs de l'Université de Stanford ont utilisé la plateforme pour former des modèles d'analyse d'imagerie médicale, tandis que des entreprises automobiles l'ont exploitée pour des tâches de vision par ordinateur. La capacité de la plateforme à gérer des tâches de formation à grande échelle l'a rendue particulièrement populaire dans les environnements académiques et d'entreprise où les ressources informatiques sont partagées. En 2023, la plateforme a été adoptée par OpenAI pour des expérimentations internes, bien que les détails spécifiques de cette collaboration restent non divulgués.
Comparaison avec d'autres outils
Determined AI concurrence d'autres plateformes de formation telles que Kubeflow, MLflow et Ray. Par rapport à ces outils, Determined AI offre une expérience plus intégrée, combinant la formation distribuée, le réglage des hyperparamètres et le suivi des expériences dans un système unique. Sa tolérance aux pannes automatique et sa gestion des ressources sont souvent citées comme des avantages par rapport aux approches manuelles. Cependant, certains utilisateurs notent que la courbe d'apprentissage de la plateforme peut être abrupte pour ceux qui ne sont pas familiers avec ses abstractions.
Orientations futures
Après l'acquisition par HPE, Determined AI a continué d'évoluer, avec des versions régulières ajoutant de nouvelles fonctionnalités et un support de frameworks. La plateforme se concentre de plus en plus sur la prise en charge des grands modèles de langage et des charges de travail d'IA générative, s'alignant sur les tendances de l'industrie. En 2024, le projet reste open-source, avec une communauté active contribuant à son développement. Les plans futurs incluent un support amélioré pour la formation multi-nœuds sur du matériel hétérogène et une meilleure intégration avec les systèmes de supercalcul Cray de HPE.
Conclusion
Determined AI s'est imposée comme une solution robuste pour la formation en apprentissage profond, offrant un ensemble complet d'outils qui simplifient la mise à l'échelle des expériences d'apprentissage automatique. Son acquisition par HPE a fourni des ressources supplémentaires pour le développement, tandis que la communauté open-source continue de stimuler l'innovation. Pour les équipes cherchant à accélérer leurs flux de travail d'IA, Determined AI présente une option convaincante qui équilibre fonctionnalité et facilité d'utilisation.