分布式人工智能研究所（DAIRI）是一个致力于推进分布式人工智能理论与应用的研究组织。该研究所成立于2023年，专注于开发可扩展、稳健且保护隐私的人工智能系统，这些系统在设备与数据中心网络中运行，而非依赖集中式单体模型。其工作处于人工智能、机器学习与分布式计算的交叉领域，应对训练、推理和部署中的挑战。
DAIRI的研究议程强调为现实世界的人工智能部署提供实用解决方案，特别是在带宽受限、延迟要求或数据主权问题的环境中。该研究所与学术机构和行业伙伴合作，探索新颖的架构和算法，使协作学习与推理无需集中敏感数据即可实现。其方法不同于主流人工智能实验室开发的大型集中式模型范式，为寻求更分布式控制的组织提供了替代方案。
研究重点
该研究所的核心研究领域包括联邦学习、去中心化模型训练和边缘推理。联邦学习允许多方在不交换原始数据的情况下训练共享模型，这对隐私至关重要的医疗和金融等行业尤为关键。DAIRI还研究通信高效算法，以减少分布式训练所需的带宽，使在异构设备上训练大型模型成为可能。此外，研究所探索模型压缩和剪枝技术，以便在资源受限的边缘设备上部署复杂的人工智能。
DAIRI工作的很大一部分涉及将Transformer架构适配到分布式环境。虽然Transformer已成为大型语言模型的标准，但其内存和计算需求对分布式系统构成挑战。DAIRI研究人员研究梯度裁剪和层归一化等方法，以稳定异步设置中的训练，并开发自定义损失函数，以考虑参与节点间非独立同分布的数据分布。
合作与伙伴关系
DAIRI与多家领先科技公司和研究实验室保持积极合作。与亚马逊网络服务和谷歌云的伙伴关系专注于开发云原生分布式训练框架。研究所还与英特尔和AMD合作，为其最新硬件加速器（包括AWS Trainium芯片）优化算法。学术合作包括与MIT CSAIL、伯克利人工智能研究和斯坦福人工智能实验室的联合项目，DAIRI在其中贡献开源库并发表基础研究。
在硬件领域，DAIRI与安谋控股和高通合作，为移动和物联网设备设计高效推理流水线。这些伙伴关系旨在弥合理论分布式学习与数十亿连接设备上实际部署之间的差距。研究所还与诺基亚贝尔实验室合作开展网络感知人工智能，探索5G和未来6G网络如何支持实时分布式智能。
重要项目
DAIRI的旗舰项目之一是一个去中心化训练框架，用于神经网络，能够容忍节点故障和网络分区，这是现实世界分布式系统中的常见挑战。该框架整合了为异步更新适配的批归一化和丢弃技术，确保即使参与者中途退出也能实现模型收敛。另一个项目专注于使用交叉注意力机制进行隐私保护推理，允许多方联合处理数据而不泄露各自输入。
DAIRI还开发了一套用于分布式设置中数据增强的工具，有助于在训练数据跨节点不均匀分布时提高模型稳健性。研究所研究人员发表了关于联邦环境中课程学习的论文，展示了跨客户端排序训练示例如何加速收敛。此外，DAIRI探索用于去中心化生成模型的Top-k采样和温度缩放，使不同节点间输出质量保持一致。
领导与团队
该研究所由一支兼具学术和行业背景的研究团队领导。其创始主任埃琳娜·瓦斯克斯博士此前在谷歌DeepMind领导分布式系统研究。技术顾问委员会包括加州大学伯克利分校的迈克尔·乔丹和加州理工学院的阿尼玛·阿南德库马尔等知名人物，为算法和理论方面提供指导。研究团队由约40名科学家和工程师组成，其中许多人兼任合作大学的职务。
DAIRI强调跨学科合作，团队成员专长于优化理论、网络和机器学习系统。研究所每年举办一次分布式人工智能研讨会，吸引来自OpenAI、Anthropic和施乐帕克等机构的参与者。该活动作为分享最新进展和识别领域开放挑战的论坛。
影响与未来方向
自成立以来，DAIRI为联邦学习贡献了多项行业标准，并发布了被初创企业和企业采用的开源实现。其工作已被超过1000篇学术论文引用，其算法已被应用于智能制造和远程医疗的生产系统。展望未来，研究所计划扩展至用于分布式控制的强化学习，并探索量子计算与分布式人工智能的整合，这是一个具有突破潜力的新兴领域。
DAIRI还旨在通过开发节能训练方法应对人工智能的环境影响。通过在闲置设备上训练模型而非在耗电的数据中心中训练，研究所希望减少人工智能的碳足迹。截至2025年，DAIRI正在与三星电子试点一个项目，在消费设备上使用分布式训练，这可能使先进人工智能能力的获取更加民主化。