Berkeley RISE实验室(实时智能系统与环境实验室)是加州大学伯克利分校的一个研究实验室,专注于开发用于实时人工智能的系统与基础设施。该实验室由计算机科学家Ion Stoica创立,延续了其前身AMPLab和RISELab项目的成果,这些项目创造了Apache Spark和Apache Mesos等基础技术。实验室的使命是弥合人工智能最新进展与在生产环境中部署它们所需的可扩展、低延迟系统之间的差距。
Berkeley RISE实验室隶属于伯克利人工智能研究社区,但保持着自己独特的研究议程,聚焦于系统、网络和机器学习的交叉领域。其研究人员专注于分布式训练、模型服务、AI数据管理以及开发工具以简化实时智能应用的构建与运维等挑战。该实验室以其开源贡献而闻名,这些贡献在工业界和学术界被广泛采用。
历史根源与演变
该实验室的血统可追溯至AMPLab,后者于2011年至2016年间运行,资金来自美国国家科学基金会和工业合作伙伴。AMPLab产出了Apache Spark(一个统一的分析引擎)和Apache Mesos(一个集群管理器)。2017年,实验室更名为RISELab(实时智能安全可解释系统),专注于实时、安全和可解释的AI系统。当前的Berkeley RISE实验室成立于2021年,转向实时智能系统,强调服务与推理。
研究领域
实验室的研究涵盖几个关键领域:
- 模型服务与推理:开发如Ray Serve和vLLM等系统,优化大型语言模型及其他深度学习模型的部署,实现高吞吐量和低延迟。特别是vLLM,引入了PagedAttention,一种影响广泛的记忆管理技术。
- 分布式计算:推进Ray框架,一个用于扩展Python和机器学习工作负载的统一平台,提供分布式训练、强化学习和超参数调优的原语。
- AI数据管理:构建特征存储、数据预处理和流处理系统,如Tune和Modin,以处理为机器学习模型提供数据的数据密集型流水线。
- 安全与隐私:探索安全聚合、差分隐私和联邦学习等技术,以保护AI系统中的敏感数据。
- 新兴硬件系统:与硬件供应商合作,优化新加速器(如AMD GPU和Intel CPU)的软件栈。
主要开源项目
实验室维护着几个构成一个连贯生态系统的主要开源项目:
- Ray:一个通用的分布式执行框架,支持无状态和有状态计算。Ray被OpenAI和Anthropic等公司用于训练和服务。
- vLLM:一个高吞吐量、内存高效的LLM服务引擎,于2023年发布。它已成为部署GPT和Llama变体等模型的标准工具。
- Ray Tune:一个用于可扩展超参数调优的Python库,与PyTorch和TensorFlow集成。
- Apache Spark:虽然实验室不再积极开发Spark,但它仍是AMPLab时代的基础产出,由Apache软件基金会维护。
合作与影响
Berkeley RISE实验室积极与工业合作伙伴和其他研究机构合作。它与Amazon Web Services、Microsoft Azure和Google Cloud等建立了合作伙伴关系,以确保其系统具备生产就绪性。实验室还与斯坦福AI实验室和MIT的CSAIL在联合研究项目上密切合作。其博士生和博士后已创办了成功的初创公司,如Anyscale(商业化Ray)和Determined AI(被Hugging Face收购)。
实验室的工作影响了更广泛的生成式AI生态系统。例如,vLLM的优化迅速被商业推理提供商采用,而Ray已成为人工智能应用中分布式Python的事实标准。实验室定期举办研讨会,并在OSDI、NSDI和NeurIPS等顶级会议上发表其研究成果。
领导与人员
Ion Stoica,加州大学伯克利分校计算机科学教授,担任实验室主任。他也是Anyscale和Databricks的联合创始人。主要教员包括Michael Jordan,从事机器学习理论研究,以及Anima Anandkumar,领导张量方法和生成模型的研究。实验室拥有轮换的国际访问学者团队,并为本科生研究人员举办暑期实习项目。
未来方向
实验室继续推动实时AI系统的边界,正在研究强化学习服务、多智能体系统和自适应资源管理。截至2025年,其研究人员正在探索如何降低基于Transformer模型的推理成本,以及如何使分布式训练对硬件故障更具弹性。实验室仍致力于开放科学,将其所有代码和大部分研究论文免费在线发布。