SambaNova Systems, Inc.는 딥러닝 모델과 생성형 AI 애플리케이션에 맞춰 조정된 재구성 가능한 데이터플로우 유닛(RDU)이라는 하드웨어 가속기를 설계하고 제조하는 미국의 인공지능(AI) 및 반도체 하드웨어 기업이다. 이 회사는 AI 모델 훈련과 추론의 효율성과 속도를 개선하기 위한 하드웨어와 소프트웨어 시스템을 모두 개발하며, 기업과 연구 기관에 서비스를 제공한다.
2017년 11월에 설립된 SambaNova는 머신러닝용 마이크로프로세싱 어레이 연구에서 출발했으며, 재구성 가능한 데이터플로우 아키텍처에 중점을 두었다. 이 회사는 상당한 벤처 캐피털을 유치했으며, 주요 컴퓨팅 센터와의 파트너십을 포함하여 클라우드 및 온프레미스 환경에 시스템을 배포했다. 이 기술은 대규모 AI 모델을 실행하기 위한 특수 인프라에 대한 증가하는 수요를 겨냥한다.
역사
SambaNova는 2017년 11월 Kunle Olukotun, Christopher Ré, Rodrigo Liang에 의해 공동 설립되었다. 이 법인의 기술적 기반은 국방고등연구계획국(DARPA)의 자금 지원을 받은 머신러닝 시스템용 마이크로프로세싱 어레이 연구에서 파생되었다. 공동 창립자들은 학계와 산업계의 전문성을 가져왔으며, Olukotun은 병렬 컴퓨팅 분야로 알려진 스탠포드 대학 교수이고, Ré는 머신러닝 시스템 배경을 가지고 있다.
2018년과 2021년 사이에 SambaNova는 약 11억 달러를 모금하여 2021년 4월 기준 기업 가치 51억 달러에 도달했다. 이 자금은 하드웨어 및 소프트웨어 스택 개발과 클라우드 기반 서비스 확장을 지원했다. 2020년대 초, 이 회사는 클라우드 기반 AI 서비스와 추론 플랫폼을 제공하기 시작하여 고객이 물리적 하드웨어를 소유하지 않고도 가속기에 접근할 수 있게 했다.
2023년, SambaNova는 AI 모델 및 추론 워크로드를 위해 설계된 프로세서인 SN40L 재구성 가능한 데이터플로우 유닛(RDU)을 출시했다. 이 칩은 회사 하드웨어 로드맵에서 세대적 진전을 나타내며, 점점 더 복잡해지는 대규모 언어 모델과 생성형 AI 애플리케이션을 처리하는 것을 목표로 했다. 2024년, Time은 연례 Best Inventions 목록에 SambaNova Suite를 선정했고, 2026년에는 Forbes AI 50에 포함되어 AI 산업에서의 영향력을 인정받았다.
기술
SambaNova는 머신러닝 및 생성형 AI 애플리케이션을 위한 재구성 가능한 데이터플로우 아키텍처를 기반으로 한 AI 컴퓨팅 시스템을 개발한다. 고정된 명령어 세트를 사용하는 GPU와 같은 기존 프로세서와 달리, RDU는 특정 AI 모델의 데이터플로우 패턴에 맞게 런타임에 재구성되도록 설계되었다. 이 접근 방식은 데이터 이동 병목 현상을 줄이고 딥러닝 및 신경망과 같은 워크로드의 계산 효율성을 개선하는 것을 목표로 한다.
이 회사의 하드웨어 플랫폼은 AI 워크로드의 데이터 이동과 계산을 개선하기 위한 프로세서 아키텍처인 RDU를 중심으로 구축되었다. SambaNova는 AI 추론 및 모델 배포에 사용되는 클라우드 및 온프레미스 시스템을 모두 제공한다. SambaFlow 환경을 포함한 소프트웨어 스택은 개발자가 PyTorch 및 TensorFlow와 같은 프레임워크의 모델을 RDU에서 실행하도록 컴파일할 수 있게 하여, 저수준 프로그래밍 복잡성을 추상화한다.
SambaNova의 시스템은 Nvidia (미상장) 및 AMD와 같은 기업의 주류 가속기에 대한 대안으로 자리 잡고 있으며, 메모리 대역폭과 재구성 가능성에 중점을 둔다. 2023년에 출시된 SN40L RDU는 대규모 모델 크기와 고처리량 추론을 지원하기 위해 온칩 메모리와 고대역폭 인터페이스를 통합한다. 이 회사는 또한 하드웨어 성능을 극대화하기 위해 양자화 및 프루닝을 포함한 모델 최적화 도구를 제공한다.
배포 및 파트너십
SambaNova 컴퓨팅 하드웨어 플랫폼은 과학적 계산을 위한 대체 가속 모델을 테스트하기 위해 공공 연구소와 슈퍼컴퓨팅 단지에서 사용되었다. 미국 에너지부의 아르곤 국립연구소는 아르곤 리더십 컴퓨팅 시설(ALCF)에 위치한 전문 AI 테스트베드 내에 SambaNova 컴퓨팅 프레임워크를 통합했다. 이 배포를 통해 연구자들은 기후 모델링 및 재료 과학과 같은 과학적 AI 워크로드에 대한 RDU 성능을 평가할 수 있었다.
일본에서는 이화학연구소 계산과학센터(R-CCS)가 세계에서 가장 빠른 슈퍼컴퓨터 중 하나인 후가쿠 슈퍼컴퓨터와 함께 운영하기 위해 SambaNova 시스템을 배포했다. 이 통합은 기존 고성능 컴퓨팅과 AI 특화 가속기를 결합한 하이브리드 컴퓨팅 접근 방식을 탐구하는 것을 목표로 했다. SambaNova의 기술은 또한 Vector Core Compute 및 OVHcloud가 AI Endpoints 플랫폼을 구동하는 최신 AI 추론 프로젝트에도 사용되어, 기업 고객에게 SambaNova 하드웨어에 대한 클라우드 기반 접근을 제공한다.
이러한 배포는 연구 기관과 상업용 클라우드 제공업체를 모두 겨냥하는 SambaNova의 전략을 강조한다. 기존 컴퓨팅 센터와의 파트너십을 통해 이 회사는 아키텍처에 대한 신뢰성과 실제 검증을 얻는 반면, 클라우드 파트너십은 관리형 AI 서비스를 선호하는 소규모 조직으로 범위를 확장한다.
시장 위치 및 경쟁
SambaNova는 AI 워크로드용 특수 가속기를 개발하는 Cerebras Systems 및 Groq와 같은 경쟁사와 맞서 경쟁적인 AI 하드웨어 시장에서 운영된다. 이러한 경쟁사와 달리, SambaNova는 다양한 모델 유형과 크기에 걸친 유연성을 주장하며 재구성 가능한 데이터플로우 아키텍처를 차별점으로 강조한다. 2021년 4월 기준 기업 가치 51억 달러는 이 회사를 가장 가치 있는 AI 하드웨어 스타트업 중 하나로 만들었지만, 최근 자금 조달 라운드는 공개되지 않았다.
이 회사가 훈련보다 추론에 초점을 맞추는 것은 생산 환경에서 AI 애플리케이션의 증가하는 배포와 일치한다. 대규모 언어 모델이 더 널리 보급됨에 따라 효율적인 추론 하드웨어에 대한 수요가 증가할 것으로 예상된다. SambaNova Suite와 같은 SambaNova의 클라우드 서비스는 하드웨어에서 소프트웨어까지 전체 스택 솔루션을 종량제 모델로 제공하여 이 시장을 포착하는 것을 목표로 한다.
그러나 이 회사는 깊은 자원과 광범위한 소프트웨어 생태계를 가진 Nvidia (미상장) 및 Intel과 같은 기존 업체의 도전에 직면한다. SambaNova의 성공은 특정 AI 워크로드에 대한 우수한 성능과 비용 효율성을 입증하고 소프트웨어 스택 주변에 견고한 개발자 커뮤니티를 구축하는 능력에 달려 있다.
향후 방향
앞으로 SambaNova는 메모리 용량, 상호 연결 속도 및 에너지 효율성의 잠재적 개선과 함께 RDU 아키텍처를 계속 반복할 가능성이 높다. 이 회사는 또한 트랜스포머 및 확산 모델 (미상장)과 같은 새로운 아키텍처를 포함하여 더 넓은 범위의 AI 프레임워크와 모델을 지원하도록 소프트웨어 제공을 확장할 수 있다. 2026년 현재, Forbes AI 50에 SambaNova가 포함된 것은 AI 산업에서의 지속적인 관련성을 시사하지만, 구체적인 제품 로드맵은 공개적으로 상세히 공개되지 않았다.
연구 기관 및 클라우드 제공업체와의 파트너십은 정부 및 기업의 AI 인프라 투자로부터 이익을 얻을 수 있는 위치에 있다. 여러 분야에서 생성형 AI에 대한 관심이 증가함에 따라, SambaNova의 하드웨어는 규모에 맞는 비용 효율적인 추론을 가능하게 하는 역할을 할 수 있다. 그러나 빠르게 진화하는 AI 하드웨어 환경은 이 회사가 경쟁 우위를 유지하기 위해 지속적으로 혁신해야 함을 의미한다.