Ray Project는 분산 컴퓨팅을 위해 설계된 오픈소스 프레임워크로, 주로 인공지능 및 머신러닝 기반 Python 워크로드를 대상으로 한다. 단일 랩톱에서 대규모 클러스터까지 애플리케이션을 확장할 수 있는 통합 프로그래밍 모델을 제공하며, 병렬 실행, 내결함성, 리소스 관리의 복잡성을 해결한다. Ray는 딥러닝 훈련부터 대규모 언어 모델 애플리케이션 서빙, 복잡한 시뮬레이션 실행에 이르기까지 산업계와 학계에서 널리 채택되고 있다.
Ray는 처음에 캘리포니아 대학교 버클리의 버클리 인공지능 연구실 (BAIR)에서 개발되었으며, 2018년 첫 공개 릴리스를 발표했다. 이 프로젝트는 Robert Nishihara, Philipp Moritz, Ion Stoica를 포함한 팀에 의해 만들어졌으며, 이들은 이후 Ray의 관리형 플랫폼을 제공하는 회사인 Anyscale을 설립했다. 이 프레임워크는 이후 수많은 조직의 기여와 활발한 개발자 커뮤니티를 바탕으로 상당한 규모의 오픈소스 생태계로 성장했다.
핵심 아키텍처
핵심적으로 Ray는 태스크(task)와 액터(actor)라는 두 가지 기본 프리미티브를 제공한다. 태스크는 클러스터 전체에서 병렬로 실행될 수 있는 상태 비저장 함수이며, 액터는 자체 상태를 유지하고 원격으로 호출될 수 있는 상태 저장 객체이다. 이러한 프리미티브는 분산 스케줄러와 공유 메모리 객체 저장소 위에 구축되어 병렬 프로세스 간 효율적인 데이터 공유를 가능하게 한다. 이 아키텍처는 유연하게 설계되어 개발자가 최소한의 코드 변경으로 세밀한 병렬성과 거친 병렬성을 모두 표현할 수 있게 한다.
Ray 런타임은 클러스터 메타데이터를 관리하는 전역 제어 저장소(GCS), 태스크를 노드에 할당하는 분산 스케줄러, 데이터 전송을 처리하는 객체 저장소 등 여러 구성 요소로 이루어져 있다. 이 설계 덕분에 Ray는 수천 개의 노드로 확장할 수 있으며 높은 처리량과 낮은 지연 시간으로 워크로드를 처리할 수 있다. 프레임워크에는 하이퍼파라미터 튜닝을 위한 Ray Tune, 모델 서빙을 위한 Ray Serve, 강화 학습을 위한 Ray RLlib 등 핵심 위에 구축된 라이브러리 제품군도 포함된다.
분산 훈련 및 AI 워크로드
Ray는 특히 딥러닝 및 생성형 AI 애플리케이션을 위한 신경망 모델의 분산 훈련에서 인기 있는 선택이 되었다. TensorFlow 및 PyTorch와 같은 주요 머신러닝 프레임워크와 통합되어 전용 분산 훈련 시스템에 대한 가볍고 유연한 대안을 제공한다. 동적 태스크 그래프를 처리하는 Ray의 능력은 트랜스포머 모델 및 잔차 네트워크 아키텍처를 포함한 복잡한 훈련 파이프라인에 잘 적합하다.
강화 학습 워크로드의 경우 Ray RLlib는 다양한 알고리즘을 지원하는 확장 가능하고 프로덕션 준비가 된 라이브러리를 제공한다. 로봇 공학, 게임 플레이, 자율 시스템 연구에 사용되어 왔다. 반면 Ray Serve는 머신러닝 모델을 확장 가능한 HTTP 엔드포인트로 배포할 수 있게 하며, 배칭, 요청 라우팅, 동적 확장과 같은 기능을 지원한다. 이러한 도구들은 Ray를 많은 AI 기업과 연구소의 인프라에서 핵심 구성 요소로 만들었다.
생태계 및 통합
Ray의 생태계는 핵심 라이브러리를 넘어 주요 클라우드 제공업체 및 데이터 처리 도구와의 통합까지 확장된다. 아마존 웹 서비스, 애저, 구글 클라우드에서 기본적으로 실행되며 Kubernetes 클러스터에 배포할 수 있다. Ray는 Apache Spark 및 Dask와 같은 데이터 처리 프레임워크와도 통합되어 분산 데이터 처리와 머신러닝 워크로드를 결합할 수 있게 한다. 이 프로젝트는 오픈소스 커뮤니티에서 강력한 입지를 가지고 있으며, 정기적인 릴리스와 증가하는 서드파티 라이브러리로 성장하고 있다.
프레임워크의 채택은 AI 산업에서 주목할 만하며, 오픈AI, 앤트로픽, 구글 딥마인드와 같은 기업들이 다양한 연구 및 프로덕션 작업에 Ray를 사용하고 있다. 유연성과 성능 덕분에 대규모 모델 훈련부터 실시간 예측 서빙까지 AI 워크로드 확장의 표준 도구가 되었다. 이 프로젝트는 학술 연구에서도 사용되며, 많은 논문과 프로젝트가 분산 실험에 Ray를 활용하고 있다.
커뮤니티 및 거버넌스
Ray는 Apache 2.0 라이선스의 오픈소스 프로젝트로, Anyscale이 개발을 주도하고 글로벌 커뮤니티가 기여하고 있다. 프로젝트는 GitHub에 활발한 저장소를 유지하며 방대한 문서, 튜토리얼, 예제를 제공한다. 거버넌스는 커뮤니티 참여를 장려하도록 구조화되어 있으며, 스티어링 위원회와 워킹 그룹이 프로젝트의 다양한 측면을 감독한다. 정기적인 미트업, 컨퍼런스, 온라인 포럼은 사용자와 개발자가 지식을 공유하고 협업할 수 있는 플랫폼을 제공한다.
프로젝트의 로드맵은 성능, 사용성, 새로운 AI 패러다임 지원 개선에 초점을 맞추고 있다. 최근 개발 사항에는 Ray의 스케줄링 알고리즘 개선, 대규모 언어 모델 서빙 지원 강화, 아마존 웹 서비스 및 기타 클라우드 플랫폼과의 통합 개선이 포함된다. 2024년 현재 Ray는 계속 진화하고 있으며, 더 넓은 개발자 및 연구자 청중에게 분산 컴퓨팅을 접근 가능하게 만드는 데 강한 중점을 두고 있다.
영향 및 향후 방향
Ray Project는 분산 컴퓨팅 및 AI 인프라 분야에 상당한 영향을 미쳤다. 확장 가능한 애플리케이션 구축의 진입 장벽을 낮추어 소규모 팀과 개별 연구자가 분산 리소스를 효과적으로 활용할 수 있게 했다. 그 설계는 다른 프레임워크에 영향을 주었으며 학술 문헌에서 널리 인용되고 있다. 프로젝트의 성공은 수백만 건의 다운로드와 다양한 산업의 프로덕션 환경 배포로 반영되는 대규모 사용자 기반에서 드러난다.
앞으로 Ray는 특히 모델의 크기와 복잡성이 증가함에 따라 차세대 AI 시스템에서 핵심 역할을 할 준비가 되어 있다. 데이터 처리부터 모델 훈련 및 서빙까지 이기종 워크로드를 처리하는 프레임워크의 능력은 엔드투엔드 AI 플랫폼 구축을 위한 다재다능한 기반이 된다. 커뮤니티의 지속적인 기여와 Anyscale의 지원으로 Ray Project는 가까운 미래에도 AI 인프라 환경의 중심 요소로 남을 가능성이 높다.