Anyscale est une organisation spécialisée dans le calcul distribué pour les charges de travail d'intelligence artificielle et d'apprentissage automatique. L'entreprise est le principal développeur et gardien de Ray, un framework open-source de calcul distribué qui permet aux développeurs de faire évoluer des applications Python d'une seule machine à un grand cluster d'ordinateurs. Anyscale propose également une plateforme commerciale et gérée, construite sur Ray, qui fournit des outils pour déployer, exécuter et gérer des applications d'IA distribuées dans le cloud.
L'entreprise a été fondée pour répondre à la complexité croissante de la mise à l'échelle des systèmes d'IA modernes, en particulier ceux impliquant des modèles de apprentissage automatique et de apprentissage profond qui nécessitent des ressources informatiques substantielles. En fournissant un framework unifié pour l'exécution distribuée, Anyscale vise à simplifier le processus de transition des charges de travail d'IA des prototypes de recherche aux déploiements en production.
Origines et fondation
Anyscale a été établie en 2019, issue du Berkeley AI Research (BAIR) laboratoire de l'Université de Californie à Berkeley. L'équipe fondatrice comprenait Robert Nishihara, Philipp Moritz et Ion Stoica, qui avaient auparavant créé Ray comme projet de recherche au sein du RISELab de l'université. Le projet a été conçu pour répondre aux limitations des systèmes de calcul distribué existants face aux besoins évolutifs des applications d'IA et d'apprentissage automatique. L'entreprise a été dissociée de l'université pour développer Ray en un système de qualité production et soutenir son adoption par une base d'utilisateurs plus large.
Framework Ray
Ray est un framework Python open-source qui fournit une API simple et universelle pour construire des applications distribuées. À son cœur, Ray offre des primitives pour le calcul parallèle et distribué, y compris des fonctions distantes, des acteurs et des structures de données distribuées. Il est conçu pour gérer une variété de charges de travail, de l'apprentissage par renforcement et du réglage des hyperparamètres au service de grands modèles de langage et d'autres applications d'IA générative. Le framework prend en charge à la fois la recherche en intelligence artificielle et les environnements de production.
Un composant clé de Ray est Ray Core, qui gère l'ordonnancement des tâches de bas niveau et la gestion de la mémoire distribuée. Construites au-dessus de Ray Core, des bibliothèques de niveau supérieur telles que Ray Tune pour le réglage des hyperparamètres, Ray Serve pour le service de modèles et Ray Data pour le traitement distribué des données. Ces bibliothèques permettent aux développeurs de composer des pipelines d'IA complexes avec une interface flexible et conviviale en Python. Le framework met l'accent sur l'évolutivité horizontale, permettant aux charges de travail de s'exécuter sur tout, d'un simple ordinateur portable à des milliers de nœuds dans un environnement cloud.
Plateforme Anyscale
La plateforme Anyscale est un service géré qui opérationnalise le framework Ray. Elle fournit un plan de contrôle pour déployer et gérer des clusters Ray sur des fournisseurs de cloud publics tels que Amazon Web Services, Microsoft Azure et Google Cloud. La plateforme inclut des fonctionnalités pour l'auto-évolutivité, l'observabilité et la multi-occupation, qui aident les organisations à exécuter des applications Ray de manière fiable en production. Elle est souvent utilisée pour l'entraînement et le service de modèles, en particulier dans des contextes où les équipes doivent allouer des ressources informatiques dynamiques sans gérer l'infrastructure sous-jacente manuellement.
La plateforme cible à la fois les développeurs individuels et les entreprises. Pour les petites équipes, elle offre un chemin simple pour faire évoluer leur code Python existant. Pour les grandes organisations, elle fournit des outils pour la collaboration, le partage de ressources et la gouvernance, s'intégrant aux flux de travail existants en IA et ML. L'entreprise a positionné la plateforme comme une solution pour les charges de travail d'``IA à grande échelle'', y compris celles impliquant l'apprentissage profond et les réseaux neuronaux.
Impact sur l'industrie et la communauté
Anyscale a joué un rôle central dans la promotion de Ray comme standard de facto pour le calcul distribué en Python dans la communauté de l'IA. Le framework a été adopté par un large éventail d'entreprises et d'institutions de recherche, y compris plusieurs organisations de recherche en IA et laboratoires d'IA d'entreprise. Sa nature open-source a favorisé un vaste écosystème de contributeurs et d'intégrations tierces, avec des bibliothèques et des outils qui étendent les capacités de Ray à divers domaines, de la science des données au traitement du langage naturel.
Dans le paysage concurrentiel, Anyscale est souvent comparée aux services d'IA spécifiques au cloud et à d'autres frameworks distribués. Cependant, son accent sur un framework unique et cohérent basé sur Python la distingue des alternatives. L'entreprise s'est également engagée auprès de la communauté plus large de l'IA à travers des conférences, des articles de blog techniques et des contributions à la recherche académique, renforçant ainsi son influence.
Gouvernance et financement
Anyscale est une entreprise privée, dont le siège social est à San Francisco, en Californie. Elle a levé des fonds de capital-risque importants auprès d'investisseurs tels que Andreessen Horowitz, Redpoint Ventures et Lux Capital, entre autres. En 2024, l'entreprise était valorisée à plus d'un milliard de dollars, reflétant la confiance des investisseurs dans le marché croissant de l'infrastructure d'IA. L'équipe de direction, y compris les cofondateurs ayant de profondes racines en informatique académique, continue de guider la direction technique et stratégique de l'entreprise.