Spell은 인공지능 모델의 개발, 학습, 배포를 간소화하도록 설계된 머신러닝 인프라 플랫폼이다. 이 회사는 데이터 과학자와 엔지니어가 자체 하드웨어나 클라우드 구성을 유지 관리하는 운영 부담 없이 GPU 클러스터에 접근하고, 실험을 관리하며, 워크로드를 확장할 수 있는 관리형 환경을 제공한다. Spell은 로컬 개발과 대규모 프로덕션 사이의 다리 역할을 자처하며, 널리 사용되는 프레임워크 및 워크플로우와 통합되는 도구를 제공한다.
2016년에 설립된 Spell은 딥러닝과 머신러닝 채택이 급속도로 성장하던 시기에 등장했다. 이 플랫폼은 처음에 사용자가 최소한의 설정으로 클라우드 GPU에서 학습 실행을 시작할 수 있게 해주는 명령줄 인터페이스와 API 제공에 초점을 맞췄다. 시간이 지나면서 실험 추적, 모델 버전 관리, 협업 기능을 포함하도록 확장되어 AI 프로젝트의 전체 수명 주기를 다루는 것을 목표로 했다. 이 회사의 접근 방식은 단순성과 개발자 경험을 강조하며, 프로토타입에서 프로덕션으로 효율적으로 전환해야 하는 팀을 대상으로 한다.
역사와 설립
Spell은 분산 시스템과 클라우드 컴퓨팅 배경을 가진 엔지니어들이 공동 설립했다. 설립 팀은 인공지능 도구가 빠르게 발전하는 동안 이를 실행할 인프라는 복잡하고 파편화된 상태로 남아 있다는 점을 인식했다. 그들은 GPU 프로비저닝, 작업 스케줄링, 환경 관리의 세부 사항을 추상화하는 플랫폼을 만들고자 했다. 이 회사는 2017년에 공개 베타를 출시하여 AI 연구 커뮤니티의 얼리 어답터들의 관심을 끌었다.
2018년에 Spell은 벤처 캐피털 회사들로부터 시드 라운드 자금을 조달하여 엔지니어링 팀을 확장하고 제품 제공을 강화할 수 있었다. 이 플랫폼은 TensorFlow 및 PyTorch와 같은 딥러닝 프레임워크 지원과 인기 있는 데이터 스토리지 서비스 통합을 추가했다. 2019년까지 Spell은 GPU 사용률 및 손실 곡선과 같은 지표를 포함한 학습 작업의 실시간 모니터링을 제공하는 웹 기반 대시보드를 도입했다. 이 시기에 회사는 역할 기반 접근 제어 및 프라이빗 네트워킹과 같은 기능을 제공하며 엔터프라이즈 고객을 향해 약간 방향을 전환했다.
핵심 플랫폼 기능
Spell의 주요 제공 사항은 사용자가 GPU 인스턴스 풀에서 학습 작업을 실행할 수 있게 해주는 관리형 컴퓨트 서비스이다. 이 플랫폼은 스팟 및 온디맨드 인스턴스를 모두 지원하여 다양한 워크로드 유형에 대한 비용 최적화를 가능하게 한다. 사용자는 Python 종속성, 시스템 패키지, 시작 명령을 지정할 수 있는 간단한 구성 파일을 사용하여 환경을 정의한다. Spell은 컨테이너화, 리소스 할당, 내결함성을 포함한 오케스트레이션을 처리한다.
주요 차별점은 재현성에 대한 Spell의 초점이다. 모든 실행은 코드, 데이터, 환경의 전체 스냅샷으로 캡처되어 팀이 실험을 다시 방문하고 비교할 수 있다. 이 플랫폼에는 하이퍼파라미터, 지표, 아티팩트를 기록하는 내장 실험 추적기가 포함되어 있다. 이는 가중치 초기화 및 학습률 스케줄 라이브러리와 같은 인기 도구와 통합되어 복잡한 학습 체계를 관리하기 쉽게 만든다. 또한 Spell은 로컬 개발 워크플로우를 미러링하는 CLI를 제공하여 사용자가 습관을 바꾸지 않고도 노트북에서 클라우드 클러스터로 전환할 수 있다.
AI 생태계와의 통합
Spell은 더 넓은 AI 생태계와 원활하게 작동하도록 설계되었다. 잔차 네트워크 아키텍처, 이미지 분할을 위한 U-Net, 자연어 처리를 위한 트랜스포머 모델을 포함한 주요 프레임워크를 지원한다. 이 플랫폼은 또한 스토리지 및 추가 컴퓨트를 위해 아마존 웹 서비스, 애저, 구글 클라우드와 통합되어 사용자가 기존 클라우드 투자를 활용할 수 있다. 오픈AI 또는 앤트로픽 API를 사용하는 팀의 경우 Spell은 미세 조정 및 평가를 위한 백엔드 역할을 할 수 있지만 자체 파운데이션 모델은 제공하지 않는다.
이 플랫폼은 분산 학습에 대한 기본 지원을 포함하여 사용자가 여러 GPU 또는 노드로 확장할 수 있게 한다. 이는 대규모 언어 모델 또는 생성형 AI 시스템 학습과 같은 대규모 작업에 중요하다. Spell은 Horovod 또는 PyTorch의 DistributedDataParallel과 같은 라이브러리를 내부적으로 사용하여 노드 간 통신의 복잡성을 추상화한다. 또한 컴퓨터 비전 및 자연어 처리와 같은 일반적인 사용 사례에 대한 사전 구성 환경을 제공하여 설정 시간을 줄인다.
사용 사례 및 응용
Spell은 스타트업부터 연구소까지 다양한 조직에서 채택되었다. 일반적인 사용 사례에는 이미지 분류, 객체 감지, 음성 인식을 위한 신경망 모델 학습이 포함된다. 이 플랫폼의 재현성 기능은 감사 추적이 필요한 규제 산업에서 특히 가치가 있다. 예를 들어, 의료 회사는 진단 도구 개발에 Spell을 사용했으며, 금융 회사는 사기 탐지 및 알고리즘 트레이딩에 이를 사용했다.
또 다른 중요한 응용 분야는 강화 학습 분야로, 학습에는 종종 장기 실행 시뮬레이션이 필요하다. Spell의 상태 유지 및 중단된 작업 재개 기능은 이러한 워크로드에 적합하다. 이 플랫폼은 또한 데이터 증강 파이프라인을 지원하여 사용자가 학습 워크플로우의 일부로 데이터를 전처리하고 증강할 수 있다. 이 통합은 별도의 데이터 엔지니어링 도구의 필요성을 줄인다.
대안과의 비교
Spell은 할시온 및 옴니시언트와 같은 다른 관리형 ML 플랫폼과 AWS 트레이니엄 및 삼바노바와 같은 클라우드 네이티브 서비스와 경쟁한다. 상당한 구성을 요구하는 하이퍼스케일러 제공과 달리 Spell은 사용 편의성과 통합된 경험을 강조한다. 또한 노트북 기반 플랫폼과 차별화하여 프로덕션 워크로드에 적합한 더 견고한 작업 실행 모델을 제공한다. 그러나 Kubernetes 기반 솔루션과 같은 오픈 소스 도구와 경쟁에 직면해 있으며, 이는 더 많은 유연성을 제공하지만 더 많은 전문 지식을 요구한다.
가격 측면에서 Spell은 역사적으로 컴퓨트 시간과 스토리지에 대해 요금을 부과하는 종량제 모델을 사용했다. 이는 소규모 팀이 접근할 수 있게 만들었지만, 대기업은 종종 맞춤형 계약을 협상했다. 개발자 경험에 대한 플랫폼의 초점은 칭찬을 받았지만, 일부 사용자는 전용 클러스터 관리자와 비교하여 고급 스케줄링 기능의 한계를 지적했다.
회사와 커뮤니티
Spell은 빠른 확장보다 제품 품질을 우선시하며 비교적 작은 팀을 유지해 왔다. 이 회사는 블로그 게시물, 튜토리얼, 컨퍼런스 발표를 통해 AI 커뮤니티와 소통하며 인프라 모범 사례에 대한 통찰력을 공유했다. 또한 오픈 소스 프로젝트를 후원하고 파이토치 생태계에 기여했다. 2020년대 초반까지 Spell은 독립 법인으로 계속 운영되었지만, 대형 클라우드 제공업체가 관리형 ML 서비스를 제공하면서 경쟁 환경이 심화되었다.
플랫폼의 사용자 기반에는 개별 연구자, 학술 기관, 상업 기업이 포함된다. Spell은 오픈 소스 프로젝트 및 교육 목적을 위한 무료 티어를 제공하여 대학에서의 채택을 촉진했다. 이러한 커뮤니티 중심 접근 방식은 회사가 실제 피드백을 기반으로 기능을 반복하는 데 도움이 되었다.
향후 방향
앞으로 Spell은 빠르게 진화하는 시장에서 관련성을 유지하는 과제에 직면해 있다. AMD 및 인텔 GPU와 같은 특수 하드웨어의 가용성 증가와 엣지 컴퓨팅의 성장은 로드맵에 영향을 미칠 수 있다. 이 회사는 대체 컴퓨트 아키텍처를 위해 그록 및 그래프코어와의 통합을 탐색했지만, 이는 널리 배포되지는 않았다. 또한 생성형 AI 및 대규모 언어 모델의 부상은 대규모 학습을 처리할 수 있는 플랫폼에 대한 수요를 전환시켰으며, 이는 상당한 인프라 투자가 필요할 수 있다.
Spell의 장기적 생존 가능성은 이러한 추세에 적응하면서 단순성이라는 핵심 가치 제안을 유지하는 능력에 달려 있다. 이 플랫폼은 현재 제한적인 존재를 가진 모델 서빙 및 MLOps 분야로 확장할 수 있다. 데이터 과학자와 ML 엔지니어의 요구에 초점을 맞춤으로써 Spell은 실험에서 배포로의 마찰 없는 경로를 찾는 팀에게 실행 가능한 옵션으로 남는 것을 목표로 한다.
결론
Spell은 머신러닝 인프라를 단순화하려는 주목할 만한 시도를 나타내며, AI 개발 진입 장벽을 낮추는 관리형 플랫폼을 제공한다. 재현성, 사용 편의성, 인기 프레임워크와의 통합에 대한 강조는 경쟁 환경에서 틈새를 확보했다. 시장이 진화했지만, Spell의 접근 방식은 제어보다 생산성을 우선시하는 사용자에게 계속 공감을 얻고 있다. 인공지능 분야가 발전함에 따라 Spell과 같은 플랫폼은 강력한 컴퓨팅 리소스에 대한 접근을 민주화하는 데 역할을 할 가능성이 있다.