Das Berkeley RISE Lab (Real-time Intelligent Systems and Environments Lab) ist ein Forschungslabor an der University of California, Berkeley, das sich auf die Entwicklung von Systemen und Infrastrukturen für künstliche Intelligenz in Echtzeit konzentriert. Das Labor wurde vom Informatiker Ion Stoica gegründet und führt die Arbeit seiner Vorgängerprojekte AMPLab und RISELab fort, die grundlegende Technologien wie Apache Spark und Apache Mesos hervorbrachten. Die Mission des Labors ist es, die Lücke zwischen den neuesten Fortschritten in der KI und den skalierbaren Systemen mit geringer Latenz zu schließen, die für deren Einsatz in Produktionsumgebungen erforderlich sind.
Das Berkeley RISE Lab arbeitet unter dem Dach der Berkeley Artificial Intelligence Research-Gemeinschaft, verfolgt jedoch eine eigene Forschungsagenda, die sich auf die Schnittstelle von Systemen, Netzwerken und maschinellem Lernen konzentriert. Seine Forscher befassen sich mit Herausforderungen wie verteiltem Training, Modell-Serving, Datenmanagement für KI und der Entwicklung von Werkzeugen, die den Aufbau und Betrieb von Echtzeit-Intelligenzanwendungen erleichtern. Das Labor ist bekannt für seine Open-Source-Beiträge, die in Industrie und Wissenschaft weit verbreitet sind.
Historische Wurzeln und Entwicklung
Das Labor führt seine Abstammung auf das AMPLab zurück, das von 2011 bis 2016 mit Mitteln der National Science Foundation und Industriepartnern betrieben wurde. Das AMPLab entwickelte Apache Spark, eine einheitliche Analyse-Engine, und Apache Mesos, einen Cluster-Manager. Im Jahr 2017 wurde das Labor in RISELab (Real-time Intelligent Secure and Explainable systems) umbenannt, mit einem Fokus auf Echtzeit-, sichere und erklärbare KI-Systeme. Das heutige Berkeley RISE Lab wurde 2021 gegründet und verlagerte den Schwerpunkt auf Echtzeit-Intelligente Systeme mit besonderem Augenmerk auf Serving und Inferenz.
Forschungsbereiche
Die Forschung des Labors umfasst mehrere Schlüsselbereiche:
- Modell-Serving und Inferenz: Entwicklung von Systemen wie Ray Serve und vLLM, die die Bereitstellung von großen Sprachmodellen und anderen Deep-Learning-Modellen mit hohem Durchsatz und geringer Latenz optimieren. Insbesondere vLLM führte PagedAttention ein, eine Speicherverwaltungstechnik, die weitreichenden Einfluss erlangt hat.
- Verteiltes Rechnen: Weiterentwicklung des Ray-Frameworks, einer einheitlichen Plattform zur Skalierung von Python- und Machine-Learning-Workloads, die Grundbausteine für verteiltes Training, Reinforcement Learning und Hyperparameter-Optimierung bereitstellt.
- Datenmanagement für KI: Aufbau von Systemen für Feature Stores, Datenvorverarbeitung und Streaming, wie Tune und Modin, um die datenintensiven Pipelines zu bewältigen, die Machine-Learning-Modelle speisen.
- Sicherheit und Datenschutz: Erforschung von Techniken für sicheres Aggregieren, differenzielle Privatsphäre und föderiertes Lernen, um sensible Daten in KI-Systemen zu schützen.
- Systeme für neue Hardware: Zusammenarbeit mit Hardware-Anbietern zur Optimierung von Software-Stacks für neue Beschleuniger wie AMD-GPUs und Intel-CPUs.
Wichtige Open-Source-Projekte
Das Labor pflegt mehrere bedeutende Open-Source-Projekte, die ein kohärentes Ökosystem bilden:
- Ray: Ein allgemeines verteiltes Ausführungsframework, das sowohl zustandslose als auch zustandsbehaftete Berechnungen unterstützt. Ray wird von Unternehmen wie OpenAI und Anthropic für Training und Serving eingesetzt.
- vLLM: Eine leistungsstarke, speichereffiziente Serving-Engine für LLMs, die 2023 veröffentlicht wurde. Sie ist zu einem Standardwerkzeug für die Bereitstellung von Modellen wie GPT- und Llama-Varianten geworden.
- Ray Tune: Eine Python-Bibliothek für skalierbare Hyperparameter-Optimierung, die mit PyTorch und TensorFlow integriert ist.
- Apache Spark: Obwohl nicht mehr aktiv vom Labor entwickelt, bleibt Spark ein grundlegendes Ergebnis aus der AMPLab-Ära und wird von der Apache Software Foundation gepflegt.
Kooperationen und Wirkung
Das Berkeley RISE Lab kooperiert aktiv mit Industriepartnern und anderen Forschungseinrichtungen. Es bestehen Partnerschaften mit Amazon Web Services, Microsoft Azure und Google Cloud, um die Produktionsreife seiner Systeme sicherzustellen. Das Labor arbeitet außerdem eng mit dem Stanford AI Lab und dem MIT CSAIL bei gemeinsamen Forschungsinitiativen zusammen. Seine Doktoranden und Postdoktoranden haben erfolgreiche Startups gegründet, wie Anyscale (Kommerzialisierung von Ray) und Determined AI (übernommen von Hugging Face).
Die Arbeit des Labors hat das breitere generative KI-Ökosystem beeinflusst. So wurden die Optimierungen von vLLM schnell von kommerziellen Inferenzanbietern übernommen, und Ray ist zu einem De-facto-Standard für verteiltes Python in KI-Anwendungen geworden. Das Labor veranstaltet regelmäßig Workshops und veröffentlicht seine Forschung auf führenden Konferenzen wie OSDI, NSDI und NeurIPS.
Leitung und Personen
Ion Stoica, Professor für Informatik an der UC Berkeley, ist Direktor des Labors. Er ist außerdem Mitbegründer von Anyscale und Databricks. Zu den wichtigsten Fakultätsmitgliedern gehören Michael Jordan, der an der Theorie des maschinellen Lernens arbeitet, und Anima Anandkumar, die Forschung zu Tensor-Methoden und generativen Modellen leitet. Das Labor hat eine rotierende Gruppe internationaler Gastwissenschaftler und bietet ein Sommerpraktikumsprogramm für Studierende an.
Zukünftige Richtungen
Das Labor erweitert weiterhin die Grenzen von Echtzeit-KI-Systemen mit laufender Forschung zu Reinforcement-Learning-Serving, Multi-Agenten-Systemen und adaptivem Ressourcenmanagement. Ab 2025 untersuchen seine Forscher, wie die Inferenzkosten für Transformer-basierte Modelle gesenkt und verteiltes Training widerstandsfähiger gegen Hardwareausfälle gemacht werden kann. Das Labor bleibt der offenen Wissenschaft verpflichtet und veröffentlicht seinen gesamten Code sowie die meisten seiner Forschungsarbeiten kostenlos online.