SambaNova Systems, Inc.는 딥러닝 모델과 생성형 AI 애플리케이션에 맞춰 조정된 재구성 가능한 데이터플로우 유닛(RDU)이라는 하드웨어 가속기를 설계하고 제조하는 미국의 인공지능(AI) 및 반도체 하드웨어 기업이다. 이 회사는 AI 추론과 모델 배포를 위한 클라우드 기반 및 온프레미스 컴퓨팅 시스템을 제공하는 데 중점을 두며, AI 워크로드의 데이터 이동과 계산 효율성을 개선하는 것을 목표로 한다.
2017년 11월에 설립된 SambaNova는 AI 하드웨어 분야에서 중요한 플레이어로 성장했으며, 상당한 자금을 조달하고 연구 실험실과 상용 클라우드 플랫폼에 기술을 배포했다. 재구성 가능한 데이터플로우에 기반한 아키텍처는 전통적인 GPU 기반 접근 방식과 차별화되며, 대규모 AI 모델을 실행하려는 조직에 대안을 제공한다.
역사
SambaNova는 2017년 11월 Kunle Olukotun, Christopher Ré, Rodrigo Liang이 공동 설립했다. 이 기업의 기술적 기반은 국방고등연구계획국(DARPA)의 자금 지원을 받은 머신러닝 시스템용 마이크로프로세싱 어레이 연구에서 비롯되었다. 창립자들은 학계와 산업계의 전문성을 갖추었으며, Olukotun은 스탠포드 대학교의 교수이고 Ré는 같은 기관의 교수이며, Liang은 산업계 경험을 보유했다.
2018년부터 2021년 사이에 SambaNova는 약 11억 달러를 조달하여 2021년 4월 기준 기업 가치 51억 달러에 도달했다. 이 자금은 하드웨어 및 소프트웨어 스택 개발을 지원했다. 2020년대 초, 이 회사는 클라우드 기반 AI 서비스와 추론 플랫폼을 시작하여 하드웨어 판매를 넘어 제품 범위를 확장했다.
2023년, SambaNova는 AI 모델과 추론 워크로드를 위해 설계된 프로세서인 SN40L 재구성 가능한 데이터플로우 유닛(RDU)을 출시했다. 이 칩은 회사의 기술 로드맵에서 중요한 단계를 나타내며, 생성형 AI 추론에 대한 증가하는 수요를 겨냥했다.
2024년, Time은 연례 Best Inventions 목록에 SambaNova Suite를 선정하여 회사의 소프트웨어 플랫폼을 인정했다. 2026년에는 Forbes AI 50에 포함되어 AI 산업에서의 지속적인 관련성을 강조했다.
기술
SambaNova는 머신러닝 및 생성형 AI 애플리케이션을 위한 재구성 가능한 데이터플로우 아키텍처에 기반한 AI 컴퓨팅 시스템을 개발한다. 명령어를 순차적으로 실행하는 전통적인 프로세서와 달리, RDU는 데이터 경로를 동적으로 구성하여 특정 AI 워크로드에 맞게 데이터 흐름을 최적화하도록 설계되었다. 이 접근 방식은 AI 계산에서 흔히 병목 현상이 되는 데이터 이동의 오버헤드를 줄이는 것을 목표로 한다.
하드웨어 플랫폼은 AI 워크로드의 데이터 이동과 계산을 개선하기 위한 프로세서 아키텍처인 재구성 가능한 데이터플로우 유닛(RDU)을 중심으로 구축된다. RDU는 대규모 언어 모델 및 기타 딥러닝 아키텍처를 포함한 다양한 신경망 모델을 지원하도록 프로그래밍될 수 있다.
이 회사는 AI 추론 및 모델 배포에 사용되는 클라우드 및 온프레미스 시스템을 제공한다. 소프트웨어 스택인 SambaNova Suite는 모델 훈련, 미세 조정 및 추론을 위한 도구를 제공하여 AI 애플리케이션 배포를 간소화하는 것을 목표로 한다.
연구 및 슈퍼컴퓨팅
SambaNova 컴퓨팅 하드웨어 플랫폼은 과학적 계산을 위한 대체 가속 모델을 테스트하기 위해 공공 연구 실험실과 슈퍼컴퓨팅 단지에서 사용되었다. 미국 에너지부의 아르곤 국립연구소는 아르곤 리더십 컴퓨팅 시설(ALCF)에 위치한 전문 AI 테스트베드 내에 SambaNova 컴퓨팅 프레임워크를 통합했다. 이 통합을 통해 연구자들은 과학적 워크로드에 대한 RDU의 기능을 탐구할 수 있었다.
일본에서는 이화학연구소 계산과학연구센터(R-CCS)가 후가쿠 슈퍼컴퓨터와 함께 운영하기 위해 SambaNova 시스템을 배포했다. 이 배포는 고성능 컴퓨팅 환경에서 RDU의 성능을 평가하고, 잠재적으로 기존 CPU 및 GPU 리소스를 보완하는 것을 목표로 했다.
이러한 협력은 AI 기반 과학적 발견을 위한 주류 가속기에 대한 대안을 제공하는 SambaNova의 연구 커뮤니티에 대한 초점을 보여준다.
상용 배포
SambaNova의 기술은 Vector Core Compute 및 OVHcloud의 AI Endpoints 플랫폼을 지원하는 최신 AI 추론 프로젝트에도 사용된다. 이러한 파트너십을 통해 클라우드 제공업체는 고객에게 SambaNova 기반 추론 서비스를 제공할 수 있으며, RDU 아키텍처의 도달 범위를 확장한다.
이 회사의 상용 전략은 기업에 대한 직접 판매와 클라우드 서비스 제공업체와의 파트너십을 모두 포함하며, 고객이 온프레미스 인프라에 투자하지 않고도 하드웨어를 더 폭넓게 채택할 수 있게 한다.
자금 및 성장
SambaNova는 벤처 캐피털 및 전략적 투자자로부터 상당한 투자를 유치했다. 2018년부터 2021년 사이에 조달된 약 11억 달러의 자금은 회사의 연구 개발 노력과 클라우드 서비스 확장을 지원했다. 2021년 4월 기준 51억 달러의 기업 가치는 SambaNova를 가장 가치 있는 AI 하드웨어 스타트업 중 하나로 자리매김하게 했다.
회사의 성장은 특히 대규모 언어 모델 및 기타 생성형 AI 애플리케이션에 대한 AI 추론 수요 증가에 의해 주도되었다. 조직이 이러한 모델을 효율적으로 실행할 방법을 모색함에 따라, SambaNova의 재구성 가능한 아키텍처는 성능 및 에너지 효율성 측면에서 잠재적 이점을 제공한다.
경쟁 구도
SambaNova는 NVIDIA 및 AMD와 같은 기존 플레이어와 Groq 및 Graphcore와 같은 다른 스타트업이 포함된 경쟁 시장에서 운영된다. NVIDIA의 GPU가 AI 훈련 시장을 지배하는 반면, SambaNova는 추론과 특정 모델에 맞게 조정될 수 있는 재구성 가능한 데이터플로우 아키텍처에 초점을 맞춤으로써 차별화한다.
이 회사의 접근 방식은 추론에 중점을 둔 AI 가속기를 개발하는 Groq의 방식과 자주 비교된다. 그러나 SambaNova의 RDU는 더 유연하여 다양한 모델 아키텍처를 지원하도록 재프로그래밍할 수 있는 반면, Groq의 칩은 더 전문화되어 있다.
향후 방향
앞으로 SambaNova는 AI 모델의 진화하는 요구 사항에 맞춰 RDU 아키텍처와 소프트웨어 스택을 계속 개선하는 것을 목표로 한다. 이 회사는 클라우드 제공을 확장하고 연구 기관 및 클라우드 제공업체와 추가 파트너십을 구축할 가능성이 높다.
2024년 현재, SambaNova는 향후 칩 세대에 대한 구체적인 계획을 공개적으로 밝히지 않았지만, Time과 Forbes의 인정은 제품이 주목을 받고 있음을 시사한다. 급변하는 AI 하드웨어 환경에서 혁신할 수 있는 회사의 능력은 장기적인 성공에 중요할 것이다.