분산 인공지능 연구소(DAIRI)는 분산 인공지능의 이론과 응용을 발전시키는 데 전념하는 연구 기관입니다. 2023년에 설립된 이 연구소는 중앙 집중식 모놀리식 모델에 의존하기보다는 장치와 데이터 센터 네트워크 전반에서 작동하는 확장 가능하고 견고하며 프라이버시를 보호하는 AI 시스템을 개발하는 데 중점을 둡니다. 그 작업은 인공지능, 머신 러닝, 분산 컴퓨팅의 교차점에 있으며, 훈련, 추론 및 배포의 과제를 해결합니다.
DAIRI의 연구 의제는 특히 대역폭 제약, 지연 시간 요구 사항 또는 데이터 주권 문제가 있는 환경에서 실제 AI 배포를 위한 실용적인 솔루션을 강조합니다. 이 연구소는 학계 및 산업 파트너와 협력하여 민감한 데이터를 중앙 집중화하지 않고도 협업 학습과 추론을 가능하게 하는 새로운 아키텍처와 알고리즘을 탐구합니다. 그 접근 방식은 주요 AI 연구소가 개발한 대규모 중앙 집중식 모델의 지배적인 패러다임과 대조되며, 더 분산된 제어를 원하는 조직에 대안을 제공합니다.
연구 초점
연구소의 핵심 연구 분야에는 연합 학습, 분산 모델 훈련 및 엣지 추론이 포함됩니다. 연합 학습을 통해 여러 당사자가 원시 데이터를 교환하지 않고 공유 모델을 훈련할 수 있으며, 이는 프라이버시가 가장 중요한 의료 및 금융과 같은 분야에서 중요합니다. DAIRI는 또한 분산 훈련에 필요한 대역폭을 줄이는 통신 효율적인 알고리즘을 조사하여 이기종 장치 전반에서 대규모 모델을 훈련하는 것을 실현 가능하게 만듭니다. 또한 연구소는 리소스가 제한된 엣지 장치에 정교한 AI를 배포할 수 있도록 모델 압축 및 프루닝 기술을 탐구합니다.
DAIRI 작업의 상당 부분은 분산 환경에 트랜스포머 기반 아키텍처를 적용하는 것과 관련이 있습니다. 트랜스포머는 대규모 언어 모델의 표준이 되었지만, 그 메모리와 계산 요구는 분산 시스템에 과제를 제기합니다. DAIRI 연구자들은 비동기 설정에서 훈련을 안정화하기 위해 그래디언트 클리핑 및 레이어 정규화와 같은 방법을 연구하고, 참여 노드 간의 비-IID 데이터 분포를 고려하는 맞춤형 손실 함수를 개발합니다.
협력 및 파트너십
DAIRI는 여러 선도적인 기술 기업 및 연구소와 활발한 협력을 유지하고 있습니다. 아마존 웹 서비스 및 구글 클라우드와의 파트너십은 클라우드 네이티브 분산 훈련 프레임워크 개발에 중점을 둡니다. 연구소는 또한 인텔 및 AMD와 협력하여 AWS Trainium 칩을 포함한 최신 하드웨어 가속기용 알고리즘을 최적화합니다. 학술 파트너십에는 MIT CSAIL, 버클리 AI 연구, 스탠포드 AI 연구소와의 공동 프로젝트가 포함되며, DAIRI는 오픈 소스 라이브러리에 기여하고 기초 연구를 발표합니다.
하드웨어 분야에서 DAIRI는 Arm 홀딩스 및 퀄컴과 협력하여 모바일 및 IoT 장치용 효율적인 추론 파이프라인을 설계합니다. 이러한 파트너십은 이론적 분산 학습과 수십억 개의 연결된 장치에 대한 실용적 배포 사이의 격차를 해소하는 것을 목표로 합니다. 연구소는 또한 노키아 벨 연구소와 네트워크 인식 AI에 관여하여 5G 및 향후 6G 네트워크가 실시간 분산 지능을 지원할 수 있는 방법을 탐구합니다.
주요 프로젝트
DAIRI의 대표 프로젝트 중 하나는 실제 분산 시스템에서 흔한 과제인 노드 장애 및 네트워크 분할을 허용하는 신경망용 분산 훈련 프레임워크입니다. 이 프레임워크는 비동기 업데이트에 적응된 배치 정규화 및 드롭아웃 기술을 통합하여 참가자가 훈련 중간에 중단되더라도 모델 수렴을 보장합니다. 또 다른 프로젝트는 크로스 어텐션 메커니즘을 사용한 프라이버시 보호 추론에 중점을 두어 여러 당사자가 입력을 공개하지 않고 데이터를 공동 처리할 수 있게 합니다.
DAIRI는 또한 분산 설정에서 데이터 증강 도구 모음을 개발하여 훈련 데이터가 노드 간에 고르지 않게 분포될 때 모델 견고성을 개선하는 데 도움을 줍니다. 연구소 연구자들은 연합 환경을 위한 커리큘럼 학습에 관한 논문을 발표하여 클라이언트 간 훈련 예제 순서가 수렴을 가속화할 수 있음을 보여주었습니다. 또한 DAIRI는 분산 생성 모델을 위한 top-k 샘플링 및 온도 스케일링을 탐구하여 서로 다른 노드에서 일관된 출력 품질을 가능하게 합니다.
리더십 및 팀
연구소는 학계와 산업계 배경을 가진 연구자 팀이 이끌고 있습니다. 창립 이사인 엘레나 바스케스 박사는 이전에 구글 딥마인드에서 분산 시스템 연구를 이끌었습니다. 기술 자문 위원회에는 캘리포니아 대학교 버클리의 마이클 조던과 Caltech의 아니마 아난드쿠마르와 같은 저명한 인물이 포함되어 알고리즘 및 이론적 측면에 대한 지침을 제공합니다. 연구 직원은 약 40명의 과학자와 엔지니어로 구성되어 있으며, 많은 이들이 파트너 대학에서 겸임 직책을 맡고 있습니다.
DAIRI는 최적화 이론, 네트워킹 및 머신 러닝 시스템을 전문으로 하는 팀원들과 함께 학제 간 협력을 강조합니다. 연구소는 OpenAI, Anthropic 및 제록스 PARC를 포함한 참가자를 끌어들이는 연례 분산 AI 워크숍을 개최합니다. 이 행사는 최근 발전을 공유하고 분야의 공개 과제를 식별하는 포럼 역할을 합니다.
영향 및 향후 방향
창립 이후 DAIRI는 연합 학습을 위한 여러 산업 표준에 기여했으며 스타트업과 기업이 사용하는 오픈 소스 구현을 출시했습니다. 그 작업은 1,000개 이상의 학술 논문에서 인용되었으며, 그 알고리즘은 스마트 제조 및 원격 의료의 생산 시스템에 채택되었습니다. 향후 연구소는 분산 제어를 위한 강화 학습으로 확장하고 분산 AI와 양자 컴퓨팅의 통합을 탐구할 계획이며, 이는 혁신 가능성이 있는 초기 분야입니다.
DAIRI는 또한 에너지 효율적인 훈련 방법을 개발하여 AI의 환경 영향을 해결하는 것을 목표로 합니다. 전력 소모가 많은 데이터 센터보다는 유휴 장치 전반에서 모델을 훈련할 수 있게 함으로써 연구소는 AI의 탄소 발자국을 줄이기를 희망합니다. 2025년 현재 DAIRI는 삼성전자와 함께 소비자 장치에서 분산 훈련을 사용하는 프로그램을 시범 운영하고 있으며, 이는 고급 AI 기능에 대한 접근을 민주화할 수 있습니다.