Le Berkeley RISE Lab (Real-time Intelligent Systems and Environments Lab) est un laboratoire de recherche de l'Université de Californie à Berkeley consacré au développement de systèmes et d'infrastructures pour l'intelligence artificielle en temps réel. Fondé par l'informaticien Ion Stoica, le laboratoire poursuit le travail de ses prédécesseurs, les projets AMPLab et RISELab, qui ont créé des technologies fondamentales comme Apache Spark et Apache Mesos. La mission du laboratoire est de combler l'écart entre les dernières avancées en IA et les systèmes évolutifs à faible latence nécessaires pour les déployer dans des environnements de production.
Le Berkeley RISE Lab opère sous l'égide de la communauté Berkeley Artificial Intelligence Research mais maintient son propre programme de recherche distinct, centré sur l'intersection des systèmes, des réseaux et de l'apprentissage automatique. Ses chercheurs se concentrent sur des défis tels que l'entraînement distribué, le service de modèles, la gestion des données pour l'IA et le développement d'outils facilitant la création et l'exploitation d'applications intelligentes en temps réel. Le laboratoire est connu pour ses contributions open-source, largement adoptées dans l'industrie et le milieu académique.
Racines historiques et évolution
Le laboratoire trouve ses origines dans l'AMPLab, qui a fonctionné de 2011 à 2016 avec le financement de la National Science Foundation et de partenaires industriels. L'AMPLab a produit Apache Spark, un moteur d'analyse unifié, et Apache Mesos, un gestionnaire de cluster. En 2017, le laboratoire a été renommé RISELab (Real-time Intelligent Secure and Explainable systems), avec un accent sur les systèmes d'IA en temps réel, sécurisés et explicables. Le Berkeley RISE Lab actuel a été établi en 2021, se tournant vers les systèmes intelligents en temps réel avec un accent sur le service et l'inférence.
Domaines de recherche
La recherche du laboratoire couvre plusieurs domaines clés :
- Service de modèles et inférence : Développement de systèmes comme Ray Serve et vLLM, qui optimisent le déploiement de grands modèles de langage et d'autres modèles de deep learning avec un débit élevé et une faible latence. vLLM, en particulier, a introduit PagedAttention, une technique de gestion de la mémoire devenue très influente.
- Calcul distribué : Avancement du framework Ray, une plateforme unifiée pour faire évoluer les charges de travail Python et d'apprentissage automatique, qui fournit des primitives pour l'entraînement distribué, l'apprentissage par renforcement et le réglage des hyperparamètres.
- Gestion des données pour l'IA : Construction de systèmes pour les feature stores, le prétraitement des données et le streaming, comme Tune et Modin, afin de gérer les pipelines intensifs en données qui alimentent les modèles de machine learning.
- Sécurité et confidentialité : Exploration de techniques pour l'agrégation sécurisée, la confidentialité différentielle et l'apprentissage fédéré afin de protéger les données sensibles dans les systèmes d'IA.
- Systèmes pour le matériel émergent : Collaboration avec les fournisseurs de matériel pour optimiser les piles logicielles pour de nouveaux accélérateurs, tels que les GPU AMD et les CPU Intel.
Projets open-source clés
Le laboratoire maintient plusieurs projets open-source majeurs qui forment un écosystème cohérent :
- Ray : Un framework d'exécution distribué à usage général qui prend en charge les calculs avec et sans état. Ray est utilisé par des entreprises comme OpenAI et Anthropic pour l'entraînement et le service.
- vLLM : Un moteur de service à haut débit et économe en mémoire pour les LLM, publié en 2023. Il est devenu un outil standard pour déployer des modèles comme GPT et les variantes de Llama.
- Ray Tune : Une bibliothèque Python pour le réglage évolutif des hyperparamètres, qui s'intègre avec PyTorch et TensorFlow.
- Apache Spark : Bien qu'il ne soit plus activement développé par le laboratoire, Spark continue d'être un résultat fondamental de l'ère AMPLab, maintenu par l'Apache Software Foundation.
Collaborations et impact
Le Berkeley RISE Lab collabore activement avec des partenaires industriels et d'autres institutions de recherche. Il a des partenariats avec Amazon Web Services, Microsoft Azure et Google Cloud, entre autres, pour garantir que ses systèmes sont prêts pour la production. Le laboratoire travaille également en étroite collaboration avec le laboratoire d'IA de Stanford et le CSAIL du MIT sur des initiatives de recherche conjointes. Ses doctorants et postdoctorants ont fondé des startups à succès, comme Anyscale (commercialisant Ray) et Determined AI (acquise par Hugging Face).
Le travail du laboratoire a influencé l'écosystème plus large de la IA générative. Par exemple, les optimisations de vLLM ont été rapidement adoptées par les fournisseurs d'inférence commerciaux, et Ray est devenu une norme de facto pour le Python distribué dans les applications d'IA. Le laboratoire organise régulièrement des ateliers et publie ses recherches dans des conférences de premier plan comme OSDI, NSDI et NeurIPS.
Direction et personnes
Ion Stoica, professeur d'informatique à UC Berkeley, est le directeur du laboratoire. Il est également cofondateur d'Anyscale et de Databricks. Les membres clés du corps professoral incluent Michael Jordan, qui travaille sur la théorie de l'apprentissage automatique, et Anima Anandkumar, qui dirige la recherche sur les méthodes tensorielles et les modèles génératifs. Le laboratoire accueille un groupe tournant de chercheurs invités internationaux et organise un programme de stage d'été pour les étudiants de premier cycle.
Orientations futures
Le laboratoire continue de repousser les limites des systèmes d'IA en temps réel, avec des recherches en cours sur le service de l'apprentissage par renforcement, les systèmes multi-agents et la gestion adaptative des ressources. En 2025, ses chercheurs explorent comment réduire les coûts d'inférence pour les modèles basés sur transformer et comment rendre l'entraînement distribué plus résilient aux pannes matérielles. Le laboratoire reste engagé envers la science ouverte, publiant tout son code et la plupart de ses articles de recherche librement en ligne.