Anyscale은 인공지능 및 머신러닝 워크로드를 위한 분산 컴퓨팅에 중점을 둔 조직이다. 이 회사는 개발자가 Python 애플리케이션을 단일 머신에서 대규모 컴퓨터 클러스터로 확장할 수 있게 해주는 오픈소스 분산 컴퓨팅 프레임워크인 Ray의 주요 개발자이자 관리자이다. Anyscale은 또한 Ray를 기반으로 구축된 상용 관리형 플랫폼을 제공하며, 클라우드에서 분산 AI 애플리케이션을 배포, 실행 및 관리하기 위한 도구를 제공한다.
이 회사는 특히 상당한 컴퓨팅 리소스를 요구하는 머신러닝 및 딥러닝 모델을 포함한 현대 AI 시스템 확장의 증가하는 복잡성을 해결하기 위해 설립되었다. 분산 실행을 위한 통합 프레임워크를 제공함으로써 Anyscale은 AI 워크로드를 연구 프로토타입에서 프로덕션 배포로 이동하는 과정을 단순화하는 것을 목표로 한다.
기원 및 설립
Anyscale은 2019년에 설립되었으며, 버클리 AI 연구 (BAIR) 연구소의 캘리포니아 대학교 버클리에서 탄생했다. 창립 팀에는 Robert Nishihara, Philipp Moritz, Ion Stoica가 포함되었으며, 이들은 이전에 대학의 RISELab에서 연구 프로젝트로 Ray를 만들었다. 이 프로젝트는 AI 및 머신러닝 애플리케이션의 진화하는 요구에 적용될 때 기존 분산 컴퓨팅 시스템의 한계를 해결하도록 설계되었다. 이 회사는 Ray를 프로덕션급 시스템으로 개발하고 더 넓은 사용자 기반의 채택을 지원하기 위해 대학에서 분사되었다.
Ray 프레임워크
Ray는 분산 애플리케이션을 구축하기 위한 간단하고 보편적인 API를 제공하는 오픈소스 Python 프레임워크이다. 핵심적으로 Ray는 원격 함수, 액터 및 분산 데이터 구조를 포함한 병렬 및 분산 컴퓨팅을 위한 기본 요소를 제공한다. 이는 강화 학습 및 하이퍼파라미터 튜닝부터 대규모 언어 모델 및 기타 생성형 AI 애플리케이션 제공에 이르기까지 다양한 워크로드를 처리하도록 설계되었다. 이 프레임워크는 인공지능 연구와 프로덕션 환경을 모두 지원한다.
Ray의 핵심 구성 요소는 저수준 작업 스케줄링과 분산 메모리 관리를 처리하는 Ray Core이다. Ray Core 위에는 하이퍼파라미터 튜닝을 위한 Ray Tune, 모델 제공을 위한 Ray Serve, 분산 데이터 처리를 위한 Ray Data와 같은 고수준 라이브러리가 구축되어 있다. 이러한 라이브러리를 통해 개발자는 유연하고 Python 친화적인 인터페이스를 사용하여 복잡한 AI 파이프라인을 구성할 수 있다. 이 프레임워크는 수평적 확장성을 강조하여 단일 노트북에서 클라우드 환경의 수천 개 노드에 이르기까지 모든 환경에서 워크로드를 실행할 수 있게 한다.
Anyscale 플랫폼
Anyscale 플랫폼은 Ray 프레임워크를 운영화하는 관리형 서비스이다. 이는 아마존 웹 서비스, 마이크로소프트 애저, 구글 클라우드와 같은 공용 클라우드 제공업체에서 Ray 클러스터를 배포하고 관리하기 위한 제어 평면을 제공한다. 이 플랫폼에는 자동 확장, 관찰 가능성 및 다중 테넌시 기능이 포함되어 있어 조직이 Ray 애플리케이션을 프로덕션에서 안정적으로 실행할 수 있게 한다. 특히 팀이 기본 인프라를 수동으로 관리하지 않고 동적 컴퓨팅 리소스를 할당해야 하는 환경에서 모델 훈련 및 제공에 자주 사용된다.
이 플랫폼은 개별 개발자와 기업 모두를 대상으로 한다. 소규모 팀에게는 기존 Python 코드를 확장할 수 있는 간단한 경로를 제공한다. 대규모 조직에게는 협업, 리소스 공유 및 거버넌스를 위한 도구를 제공하며 기존 AI 및 ML 워크플로와 통합된다. 이 회사는 플랫폼을 딥러닝 및 신경망을 포함한 '대규모 AI' 워크로드를 위한 솔루션으로 자리매김했다.
산업 및 커뮤니티 영향
Anyscale은 AI 커뮤니티에서 분산 Python 컴퓨팅의 사실상 표준으로 Ray를 홍보하는 데 중심적인 역할을 해왔다. 이 프레임워크는 여러 AI 연구 조직 및 기업 AI 연구소를 포함한 다양한 기업과 연구 기관에서 채택되었다. 오픈소스 특성 덕분에 Ray의 기능을 데이터 과학에서 자연어 처리에 이르는 다양한 영역으로 확장하는 라이브러리와 도구를 갖춘 대규모 기여자 및 타사 통합 생태계가 조성되었다.
경쟁 환경에서 Anyscale은 종종 클라우드 특화 AI 서비스 및 기타 분산 프레임워크와 비교된다. 그러나 단일하고 응집력 있는 Python 기반 프레임워크에 대한 초점은 대안과 차별화된다. 이 회사는 또한 컨퍼런스, 기술 블로그 게시물 및 학술 연구 기여를 통해 더 넓은 AI 커뮤니티와 교류하며 영향력을 더욱 공고히 했다.
거버넌스 및 자금
Anyscale은 캘리포니아주 샌프란시스코에 본사를 둔 비상장 회사이다. 이 회사는 안드레센 호로위츠, Redpoint Ventures, Lux Capital을 포함한 투자자들로부터 상당한 벤처 캐피털 자금을 조달했다. 2024년 기준으로 이 회사의 가치는 10억 달러 이상으로 평가되었으며, 이는 AI 인프라의 성장 시장에 대한 투자자 신뢰를 반영한다. 학술 컴퓨터 과학에 깊은 뿌리를 둔 공동 창업자를 포함한 리더십 팀은 계속해서 회사의 기술 및 전략 방향을 이끌고 있다.