分散人工知能研究所（DAIRI）は、分散人工知能の理論と応用の進展に特化した研究組織である。2023年に設立されたこの研究所は、中央集権的なモノリシックモデルに依存するのではなく、デバイスやデータセンターのネットワーク全体で動作する、スケーラブルで堅牢かつプライバシー保護を重視したAIシステムの開発に焦点を当てている。その活動は、人工知能、機械学習、分散コンピューティングの交差点に位置し、トレーニング、推論、展開における課題に取り組んでいる。
DAIRIの研究課題は、特に帯域幅の制約、遅延要件、データ主権の懸念がある環境における、現実世界のAI展開のための実用的なソリューションを重視している。研究所は、学術機関や業界パートナーと協力し、機密データを集中化せずに協調学習と推論を可能にする新しいアーキテクチャとアルゴリズムを探求している。そのアプローチは、主要なAI研究所によって開発された大規模な中央集権モデルという支配的なパラダイムとは対照的であり、より分散化された制御を求める組織に代替手段を提供している。
研究重点
研究所の中心的な研究分野には、連合学習、分散モデルトレーニング、エッジ推論が含まれる。連合学習により、複数の当事者が生データを交換せずに共有モデルをトレーニングでき、プライバシーが最優先される医療や金融などの分野で重要である。DAIRIはまた、分散トレーニングに必要な帯域幅を削減する通信効率の高いアルゴリズムを調査しており、異種デバイス間での大規模モデルのトレーニングを実現可能にしている。さらに、研究所は、リソースに制約のあるエッジデバイスへの高度なAIの展開を可能にするため、モデル圧縮とプルーニング技術も探求している。
DAIRIの活動の大部分は、分散環境向けにトランスフォーマーベースのアーキテクチャを適応させることを含む。トランスフォーマーは大規模言語モデルの標準となっているが、そのメモリと計算要件は分散システムにとって課題となる。DAIRIの研究者は、非同期設定でのトレーニングを安定させるための勾配クリッピングやレイヤー正規化などの手法を研究し、参加ノード間の非IIDデータ分布を考慮したカスタムの損失関数を開発している。
協力とパートナーシップ
DAIRIは、いくつかの主要なテクノロジー企業や研究ラボと活発な協力関係を維持している。Amazon Web ServicesやGoogle Cloudとのパートナーシップは、クラウドネイティブな分散トレーニングフレームワークの開発に焦点を当てている。研究所はまた、IntelやAMDと協力し、AWS Trainiumチップを含む最新のハードウェアアクセラレータ向けにアルゴリズムを最適化している。学術パートナーシップには、MIT CSAIL、バークレーAIリサーチ、スタンフォードAIラボとの共同プロジェクトが含まれ、DAIRIはオープンソースライブラリに貢献し、基礎研究を発表している。
ハードウェア分野では、DAIRIはArm HoldingsやQualcommと協力し、モバイルおよびIoTデバイス向けの効率的な推論パイプラインを設計している。これらのパートナーシップは、理論的な分散学習と数十億の接続デバイスへの実用的な展開の間のギャップを埋めることを目的としている。研究所はまた、Nokia Bell Labsとネットワーク対応AIに取り組み、5Gおよび将来の6Gネットワークがリアルタイムの分散インテリジェンスをどのようにサポートできるかを探求している。
注目プロジェクト
DAIRIの代表的なプロジェクトの1つは、ノード障害やネットワーク分割を許容するニューラルネットワーク用の分散トレーニングフレームワークであり、これは現実世界の分散システムにおける一般的な課題である。このフレームワークは、非同期更新に適応したバッチ正規化とドロップアウト技術を組み込み、参加者がトレーニング途中で脱落してもモデルの収束を保証する。別のプロジェクトは、クロスアテンションメカニズムを使用したプライバシー保護推論に焦点を当てており、複数の当事者が入力を明かさずにデータを共同処理できるようにする。
DAIRIはまた、分散設定でのデータ拡張のためのツールスイートを開発しており、トレーニングデータがノード間で不均等に分布している場合のモデルの堅牢性向上に役立つ。研究所の研究者は、連合環境向けのカリキュラム学習に関する論文を発表し、クライアント間でのトレーニング例の順序付けが収束を加速できることを示している。さらに、DAIRIは分散生成モデル向けのトップkサンプリングと温度スケーリングを探求し、異なるノード間での一貫した出力品質を実現している。
リーダーシップとチーム
研究所は、学界と業界の両方での経歴を持つ研究者チームによって率いられている。創設ディレクターのエレナ・バスケス博士は、以前Google DeepMindで分散システム研究を率いていた。技術諮問委員会には、カリフォルニア大学バークレー校のマイケル・ジョーダンや、カルテックのアニマ・アナンドクマーなどの著名人が含まれており、アルゴリズムと理論的側面について指導を提供している。研究スタッフは約40人の科学者とエンジニアで構成され、その多くはパートナー大学との共同任命を受けている。
DAIRIは学際的な協力を重視しており、チームメンバーは最適化理論、ネットワーキング、機械学習システムを専門としている。研究所は毎年、分散AIに関するワークショップを開催し、OpenAI、Anthropic、Xerox PARCなどから参加者を集めている。このイベントは、最近の進歩を共有し、分野における未解決の課題を特定するためのフォーラムとして機能している。
影響と将来の方向性
設立以来、DAIRIは連合学習のいくつかの業界標準に貢献し、スタートアップや企業が使用するオープンソース実装をリリースしてきた。その活動は1,000以上の学術論文で引用され、そのアルゴリズムはスマート製造や遠隔医療の本番システムで採用されている。今後、研究所は分散制御向けの強化学習への拡大と、分散AIと量子コンピューティングの統合（画期的な可能性を秘めた初期段階の分野）を探求する計画である。
DAIRIはまた、エネルギー効率の高いトレーニング手法を開発することで、AIの環境への影響に対処することを目指している。電力消費の多いデータセンターではなく、アイドル状態のデバイス全体でモデルをトレーニングできるようにすることで、研究所はAIの二酸化炭素排出量を削減したいと考えている。2025年現在、DAIRIはSamsung Electronicsと消費者デバイスでの分散トレーニングを使用するプログラムを試験的に実施しており、これにより高度なAI機能へのアクセスが民主化される可能性がある。