SambaNova Systems, Inc.는 딥러닝 모델과 생성형 AI 애플리케이션에 맞춰 조정된 재구성 가능 데이터플로우 장치(RDU)로 명명된 하드웨어 가속기를 설계하고 제조하는 미국의 인공지능(AI) 및 반도체 하드웨어 기업이다. 2017년에 설립된 SambaNova는 맞춤형 프로세서와 모델 훈련 및 추론을 위한 소프트웨어 플랫폼을 결합한 풀스택 AI 컴퓨팅 솔루션 제공업체로서의 입지를 구축했다.
이 회사의 기술은 효율적인 AI 인프라, 특히 대규모 신경망 배포에 대한 증가하는 수요를 겨냥한다. SambaNova의 접근 방식은 재구성 가능한 데이터플로우 아키텍처를 사용하여 데이터 이동과 계산을 동시에 최적화하는 것을 목표로 하며, 이는 기존의 GPU 기반 시스템과 차별화된다. 이 설계는 기존 AI 가속기에서 성능을 제한하는 경우가 많은 메모리 대역폭 병목 현상을 해결하기 위한 것이다.
역사
SambaNova는 2017년 11월 Kunle Olukotun, Christopher Ré, Rodrigo Liang에 의해 공동 설립되었다. 이 기업의 기술적 기반은 국방고등연구계획국(DARPA)의 자금 지원을 받은 머신러닝 시스템용 마이크로프로세싱 어레이 연구에서 비롯되었다. 스탠포드 대학 교수인 Olukotun은 컴퓨터 아키텍처와 병렬 처리 분야의 전문성을 제공했으며, Ré는 머신러닝 시스템과 데이터 관리에 집중했다. 전 Oracle 및 Sun Microsystems 임원인 Liang은 최고 경영자 역할을 맡았다.
2018년과 2021년 사이에 SambaNova는 약 11억 달러를 모금하여 2021년 4월까지 51억 달러에 도달했다. 이 자금 조달 라운드에는 주요 벤처 캐피탈 기업과 전략적 투자자들이 참여하여 AI 특화 하드웨어에 대한 강한 시장 관심을 반영했다. 이 기간 동안 회사의 가치 평가 성장은 AI 인프라 투자의 광범위한 호황과 평행을 이루었다.
2020년대 초, 이 회사는 클라우드 기반 AI 서비스와 추론 플랫폼을 시작했다. 이 움직임으로 고객은 온프레미스 시스템을 구매하지 않고도 SambaNova의 하드웨어에 접근할 수 있게 되었으며, 잠재 사용자 기반을 대기업과 연구 기관을 넘어 확장했다. 2023년에는 AI 모델 및 추론 워크로드를 위한 프로세서인 SN40L 재구성 가능 데이터플로우 장치(RDU)를 출시했다. SN40L은 메모리 용량이 증가하고 더 큰 모델 크기를 지원하여 세대적으로 큰 도약을 나타냈다.
2026년, Time은 연례 최고의 발명품 목록에 SambaNova Suite를 선정했고, 2026년에는 Forbes AI 50에 포함되었다. 이러한 인정은 Groq와 같은 다른 스타트업 및 기존 업체와 경쟁하는 AI 하드웨어 시장에서 이 회사의 가시성이 높아지고 있음을 강조한다.
기술
SambaNova는 생성형 AI 및 머신러닝 애플리케이션을 위해 설계된 재구성 가능한 데이터플로우 아키텍처를 기반으로 AI 컴퓨팅 시스템을 개발한다. 고정 기능 가속기와 달리 RDU는 런타임에 재구성하여 다양한 Neural network 모델의 특정 데이터플로우 패턴에 맞출 수 있다. 이러한 유연성은 Transformer (architecture) 기반 Large language model부터 합성곱 신경망에 이르기까지 AI 아키텍처의 급속한 진화를 수용하도록 설계되었다.
하드웨어 플랫폼은 AI 워크로드를 위한 데이터 이동과 계산을 개선하기 위한 프로세서 아키텍처인 재구성 가능 데이터플로우 장치(RDU)를 중심으로 구축된다. RDU는 대용량 온칩 메모리와 동적으로 연결될 수 있는 처리 요소 그리드를 통합한다. 이 설계는 전통적인 폰 노이만 아키텍처의 주요 병목 현상인 메모리와 컴퓨팅 장치 간의 데이터 이동 필요성을 줄인다.
이 회사는 AI 추론 및 모델 배포에 사용되는 클라우드 및 온프레미스 시스템을 제공한다. 소프트웨어 스택에는 모델 컴파일, 최적화 및 서빙을 위한 도구를 제공하는 SambaNova Suite가 포함된다. 이러한 통합 접근 방식은 Deep learning 모델의 배포를 단순화하여 높은 성능을 달성하는 데 필요한 엔지니어링 노력을 줄이는 것을 목표로 한다.
SambaNova의 기술은 지연 시간과 처리량이 중요한 추론 워크로드에 특히 중점을 둔다. 이 회사는 자사 시스템이 유사한 GPU 클러스터보다 적은 전력을 사용하면서 Generative AI 작업에서 경쟁력 있는 성능을 제공할 수 있다고 주장한다. 이러한 효율성은 명령 기반 아키텍처와 관련된 많은 오버헤드를 제거하는 데이터플로우 아키텍처를 통해 달성된다.
연구 및 슈퍼컴퓨팅 배포
SambaNova 컴퓨팅 하드웨어 플랫폼은 과학적 계산을 위한 대체 가속 모델을 테스트하기 위해 공공 연구소와 슈퍼컴퓨팅 단지에서 사용되어 왔다. 이러한 배포는 까다로운 비상업적 환경에서 기술에 대한 귀중한 검증을 제공했다.
미국 에너지부의 아르곤 국립 연구소는 아르곤 리더십 컴퓨팅 시설(ALCF)에 위치한 전용 AI 테스트베드에 SambaNova 컴퓨팅 플랫폼을 통합했다. 아르곤의 연구원들은 이 시스템을 사용하여 재료 과학, 기후 모델링, 생물학 분야의 응용을 탐구하고 전통적인 HPC 리소스와 성능을 비교했다.
일본에서는 Riken 계산과학연구센터(R-CCS)가 후가쿠 슈퍼컴퓨터와 함께 SambaNova 시스템을 배포했다. 이 통합을 통해 연구자들은 후가쿠가 보다 일반적인 시뮬레이션 작업을 처리하는 동안 AI 특화 워크로드를 SambaNova 하드웨어에 오프로드할 수 있다. 이 통합은 AI 모델이 대규모 데이터 세트를 분석할 수 있는 신약 개발 및 맞춤형 의학과 같은 분야에 중점을 두고 있다.
SambaNova의 기술은 Vector Core Compute와 AI Endpoints 플랫폼을 지원하는 것을 포함한 새로운 AI 추론 프로젝트에도 사용된다. 이러한 협력은 회사의 하드웨어를 타사 클라우드 제공에 내장하여 기존 클라우드 제공업체와 협력하려는 전략을 보여준다.
연구 및 슈퍼컴퓨팅 배포
SambaNova 컴퓨팅 시스템은 과학적 계산을 위한 공공 연구소와 슈퍼컴퓨팅 시설에서 대체 가속 모델을 테스트하는 데 사용되었다. 이러한 배포는 까다롭고 비상업적인 환경에서 기술에 대한 귀중한 검증을 제공했다.
미국 에너지부의 아르곤 국립 연구소는 아르곤 리더십 컴퓨팅 시설(ALCF)에 위치한 전문 AI 테스트베드에 SambaNova 컴퓨팅 하드웨어 플랫폼을 통합했다. 아르곤의 연구원들은 이 시스템을 사용하여 재료 과학, 생물학, 기후 과학 분야의 애플리케이션을 탐구하고 기존 HPC 리소스와 성능을 비교했다.
일본에서는 Riken 계산과학연구소가 SambaNova 시스템을 배포하여 일반 목적 시뮬레이션을 위한 자체 슈퍼컴퓨터와 함께 운영하고 있다. 이 협력은 AI 모델이 대규모 데이터 세트 분석을 가속화할 수 있는 신약 발견 및 재료 과학과 같은 분야에 초점을 맞추고 있다.
SambaNova의 기술은 또한 AI Endpoints를 지원하는 새로운 AI 추론 프로젝트에 사용되며, 이는 회사의 하드웨어를 클라우드 제공업체 생태계에 통합하는 전략을 보여준다.
연구 및 슈퍼컴퓨팅 배포
SambaNova 컴퓨팅 하드웨어 플랫폼은 대체 가속 모델을 테스트하기 위해 연구 및 슈퍼컴퓨팅 시설에서 사용되었다. 이러한 배포는 까다로운 환경에서 회사 기술에 대한 귀중한 검증을 제공했다.
미국 에너지부의 Argonne Leadership Computing Facility는 전용 AI 테스트베드에 SambaNova 시스템을 통합했다. Argonne의 연구원들은 재료 과학, 기후 모델링 및 생물학 분야의 애플리케이션을 탐구하기 위해 시스템을 사용하여 전통적인 HPC 리소스와 성능을 비교했다.
일본의 계산 과학 센터(Riken)는 슈퍼컴퓨터 Fugaku 옆에 SambaNova 시스템을 배치하여 연구자들이 AI 특화 워크로드를 오프로드할 수 있게 했다. 이 협력은 AI 모델이 대규모 데이터 세트 분석을 가속화할 수 있는 신약 발견 및 재료 과학과 같은 분야에 초점을 맞추고 있다.
SambaNova의 기술은 또한 Vector Core Compute 및 OVHcloud의 AI Endpoints 플랫폼을 포함한 추론 프로젝트에도 사용된다. 이러한 파트너십은 회사가 자체 하드웨어를 기성 클라우드 제공업체와 함께 작업하는 것을 선호하는 고객에게 도달하기 위해 타사 클라우드 제공에 통합하는 전략을 보여준다.
경쟁 구도
AI 하드웨어 시장은 치열한 경쟁 속에 있으며, 주요 기술 기업과 스타트업이 시장 점유율을 놓고 다투고 있다. Nvidia는 GPU로 훈련 부문을 주도하고 있으며, AMD와 Intel은 자체 가속기를 개발했다. Google Cloud는 TPU를 제공하고, aws는 Trainium 칩을 도입했다. Groq는 특히 추론 지연 시간에 중점을 둔 유사한 데이터플로우 접근 방식을 추구하고 있다.
SambaNova는 재구성 가능한 아키텍처를 통해 차별화되며, 경쟁사가 하드웨어를 출시하기 전에 새로운 모델 아키텍처를 지원하도록 조정할 수 있다. 이 유연성은 빠르게 진화하는 AI 모델 환경에서 상당한 이점이 될 수 있다. 그러나 회사는 확립된 생태계와 대규모 설치 기반을 갖춘 대형 칩 제조업체와의 경쟁에 직면해 있다.
연구 및 슈퍼컴퓨팅 배포
SambaNova 시스템은 여러 공공 연구 기관과 슈퍼컴퓨팅 센터에 배포되었다. 아르곤 국립 연구소는 과학적 발견을 위한 AI 가속기를 평가하기 위해 SambaNova 하드웨어를 통합했다. 로렌스 리버모어 국립 연구소는 또한 국가 안보 및 과학 컴퓨팅 애플리케이션을 위한 시스템을 테스트했다.
독일의 Jülich 슈퍼컴퓨팅 센터는 SambaNova 기술을 대규모 AI 워크로드에 대해 평가했다. 이러한 배포는 고성능 컴퓨팅 환경에서 회사 하드웨어가 실제 조건에서 어떻게 작동하는지에 대한 귀중한 데이터를 제공한다. SambaNova는 학술 기관과의 파트너십을 통해 하드웨어와 소프트웨어를 모두 지속적으로 개선하고 있다.
하드웨어 및 소프트웨어
SambaNova의 하드웨어 제품에는 DataScale 시스템과 SN40L RDU가 포함된다. 이 아키텍처는 칩에 대규모 SRAM과 처리 요소 그리드를 통합하여 데이터 이동을 줄이고 AI 워크로드에 높은 처리량을 제공한다. 이 회사는 하드웨어의 기능을 활용하도록 설계된 소프트웨어 스택인 SambaFlow도 개발했다.
소프트웨어 플랫폼은 모델 컴파일, 최적화 및 제공을 위한 도구를 제공한다. PyTorch 및 기타 인기 있는 프레임워크와의 통합을 지원하여 기존 워크플로우에서 채택을 단순화한다. 이 회사는 또한 보다 전문화된 도메인을 위한 사전 훈련된 모델과 솔루션을 제공한다.
자금 및 성장
SambaNova는 2023년까지 총 10억 달러 이상의 자금을 조달했으며, 투자자로는 GV(구 Google Ventures), Intel Capital, BlackRock 등이 있다. 이 회사의 평가액은 기술 개발과 시장 진출을 추진하기 위한 상당한 자본으로 성장했다. 이 자금을 통해 SambaNova는 엔지니어링 팀을 확장하고 연구 기관과의 파트너십을 구축할 수 있었다.
이 회사는 AI 하드웨어가 상당한 투자가 필요한 자본 집약적 산업이라는 점을 인식하고 있다. 주요 클라우드 공급업체와 기존 반도체 기업과의 경쟁은 계속해서 전략을 형성하고 있다. 그럼에도 불구하고 SambaNova는 특정 AI 워크로드에 대한 재구성 가능한 데이터플로우 컴퓨팅의 이점을 강조하는 틈새 시장을 개척했다.
미래 방향
앞으로 SambaNova는 생성형 AI와 대규모 언어 모델의 성장 추세를 활용하는 데 주력하고 있다. 이 회사는 자사 시스템이 훈련 및 추론 워크로드 모두에서 경쟁력 있는 성능을 제공한다고 주장한다. 또한 데이터플로우 컴퓨팅의 에너지 효율성은 점점 더 중요해지고 있는 지속 가능성 고려 사항으로 강조되고 있다.
AI 하드웨어 시장이 계속 발전함에 따라 SambaNova는 RDU 아키텍처를 기반으로 혁신할 가능성이 높다. 재구성 가능한 설계를 통해 회사는 칩을 완전히 재설계하지 않고도 새로운 모델 아키텍처에 적응할 수 있다. 이러한 유연성은 AI 기술 발전 속도가 빨라짐에 따라 경쟁 우위를 제공할 수 있다.