Modal Labs는 인공지능 및 머신러닝 워크로드를 실행하기 위한 서버리스 플랫폼을 제공하는 클라우드 컴퓨팅 기업이다. 2022년 Erik Bernhardsson과 Akshay Sharma가 공동 설립했으며, GPU 및 CPU 리소스에 대한 온디맨드 액세스를 제공하여 개발자가 기본 인프라를 관리하지 않고도 AI 애플리케이션을 배포하고 확장할 수 있게 한다. 이 플랫폼은 데이터 처리, 모델 훈련부터 추론 및 배치 작업에 이르기까지 다양한 작업을 지원하도록 설계되었으며, 단순성과 비용 효율성에 중점을 둔다.
Modal의 서버리스 모델은 클러스터 관리를 추상화하여 사용자가 자동 확장과 사용량 기반 과금으로 클라우드에서 코드를 실행할 수 있게 한다. 이 플랫폼은 Machine learning 생태계의 인기 있는 도구 및 프레임워크와 통합되며, PyTorch 및 TensorFlow와 같은 도구를 지원하고 Deep learning 워크플로우를 지원한다. Amazon Web Services 및 Google Cloud와 같은 클라우드 제공업체를 활용하여 Modal은 NVIDIA GPU를 포함한 유연한 컴퓨팅 옵션을 제공하여 다양한 성능 및 예산 요구 사항을 충족한다.
역사 및 설립
Modal Labs는 2022년 Erik Bernhardsson과 Akshay Sharma에 의해 설립되었다. Bernhardsson은 이전에 Better의 CTO로 재직하며 대규모 데이터 시스템을 구축한 경험을 가졌고, Sharma는 OpenAI 및 Figure AI에서의 작업 경험을 바탕으로 전문성을 제공했다. 이 회사는 기존 클라우드 인프라가 개별 개발자와 소규모 팀이 AI 워크로드를 효율적으로 실행하기에는 너무 복잡하고 비용이 많이 든다는 인식에서 출발했다. Modal은 운영 오버헤드를 추상화하는 서버리스 플랫폼을 제공하여 고성능 컴퓨팅에 대한 접근성을 대중화하는 것을 목표로 했다.
이 회사는 AI 커뮤니티에서 빠르게 주목을 받았으며, 유명 벤처 캐피탈 기업들의 투자를 유치했다. 2023년 Modal은 Lux Capital이 주도한 Series A 라운드에서 1,600만 달러를 모금했으며, Amplify Partners 및 기타 투자자들이 참여했다. 이 자금은 엔지니어링 팀을 확장하고 Large language model 훈련 및 추론 지원을 포함한 플랫폼 기능을 강화하는 데 사용되었다.
플랫폼 및 기능
Modal의 핵심 제공 사항은 최소한의 구성으로 사용자가 Python 코드를 클라우드에서 실행할 수 있게 하는 서버리스 컴퓨팅 플랫폼이다. 개발자는 트래픽에 따라 자동으로 확장되는 온디맨드 방식으로 실행되는 함수와 워크플로우를 정의할 수 있다. 이 플랫폼은 동기 및 비동기 실행을 모두 지원하여 실시간 추론과 배치 처리에 적합하다.
주요 기능은 다음과 같다:
- GPU 및 CPU 지원: Modal은 NVIDIA A100 및 H100 GPU를 포함한 다양한 인스턴스 유형과 가벼운 워크로드를 위한 CPU 전용 옵션을 제공한다.
- 분산 컴퓨팅: 사용자는 여러 머신에서 작업을 병렬화하여 Neural network 모델의 효율적인 훈련과 대규모 데이터 처리를 가능하게 한다.
- 원활한 통합: Modal은 Hugging Face 및 Weights & Biases와 같은 인기 있는 데이터 및 AI 도구와 통합되며, 사용자 지정 Docker 이미지를 지원한다.
- 비용 관리: 사용량 기반 과금 모델을 통해 사용자는 사용하지 않을 때 규모를 0으로 조정하여 유휴 리소스 비용을 제거함으로써 비용을 최적화할 수 있다.
사용 사례 및 응용 분야
이 플랫폼은 스타트업부터 기존 기업까지 다양한 조직에서 다음과 같은 작업에 사용된다:
- 모델 훈련: 분산 컴퓨팅 기능을 활용한 Deep learning 훈련 작업 실행, Transformer (architecture) 기반 모델 포함.
- 추론 서빙: Large language model 및 기타 AI 모델을 저지연의 확장 가능한 API로 배포.
- 데이터 처리: Python 및 Pandas 및 NumPy와 같은 인기 있는 라이브러리를 사용한 ETL 파이프라인 및 데이터 변환 실행.
- 연구 및 실험: 연구자가 인프라 설정 없이 Machine learning 알고리즘을 빠르게 프로토타입하고 테스트할 수 있게 함.
주목할 만한 사용자로는 Generative AI 분야의 기업인 AI21 Labs 및 Inflection AI가 있으며, 이들은 모델 훈련 및 서빙에 Modal을 활용한다. 이 플랫폼은 또한 학술 기관과 연구소에서 Artificial intelligence 연구를 위해 채택되었다.
경쟁 구도
Modal은 AI 클라우드 컴퓨팅의 경쟁 분야에서 운영되며, AI 워크로드를 위한 특수 하드웨어와 서비스를 제공하는 CoreWeave, Cerebras, Groq와 같은 경쟁사와 맞서고 있다. 전용 클러스터나 특정 하드웨어에 초점을 맞추는 이러한 제공업체와 달리, Modal은 서버리스 모델과 개발자 친화적인 인터페이스를 통해 차별화한다. 이러한 접근 방식은 원시 성능보다 사용 편의성과 유연성을 우선시하는 개별 개발자와 소규모 팀에게 매력적이다.
Modal은 또한 GPU 인스턴스와 관리형 서비스를 제공하는 Amazon Web Services, Microsoft Azure, Google Cloud와 같은 전통적인 클라우드 제공업체와도 경쟁한다. 그러나 Modal의 서버리스 추상화와 세분화된 과금은 특히 클라우드 인프라 관리의 복잡성을 피하려는 사람들에게 AI 개발을 위한 더 접근하기 쉬운 진입점을 제공한다.
향후 방향
2024년 현재, Modal은 플랫폼을 계속 확장하고 있으며, 새로운 하드웨어 지원을 추가하고 Large language model 워크로드의 성능을 개선하고 있다. 이 회사는 AMD 및 Intel과 같은 하드웨어 공급업체와의 파트너십을 모색하여 더 넓은 범위의 컴퓨팅 옵션을 제공하고자 한다. Modal은 또한 분산 훈련 기능을 강화하여 사용자가 최소한의 코드 변경으로 대규모 모델을 훈련할 수 있도록 하는 것을 목표로 한다.
Generative AI 애플리케이션에 대한 수요가 증가함에 따라, Modal은 AI 개발자를 위한 중요한 인프라 계층으로서의 역할을 잘 수행할 수 있는 위치에 있다. 서버리스 단순성과 비용 효율성에 대한 회사의 초점은 더 접근 가능하고 확장 가능한 AI 컴퓨팅을 향한 업계 추세와 일치한다.