Cerebras Inference는 웨이퍼 스케일 엔진(WSE) 칩으로 알려진 기업인 Cerebras Systems가 개발한 클라우드 기반 AI 추론 서비스입니다. 이 서비스는 대규모 언어 모델 및 기타 딥러닝 모델을 기존 GPU 기반 인프라보다 훨씬 빠른 속도로 실행하도록 설계되었으며, 생산 AI 애플리케이션에 낮은 지연 시간 응답이 필요한 기업과 개발자를 대상으로 합니다. 2024년에 출시된 이 서비스는 회사의 맞춤형 하드웨어를 활용하여 기존 클라우드 제공업체 및 전문 AI 칩 스타트업에 대한 대안을 제공합니다.
이 서비스는 간단한 API를 통해 운영되며, 사용자가 기본 인프라를 관리하지 않고도 모델을 배포할 수 있습니다. Llama 및 Mistral 계열을 포함한 다양한 오픈 가중치 모델을 지원하며, 높은 처리량의 추론 작업을 위한 비용 효율적인 솔루션으로 마케팅되었습니다. Cerebras Inference는 훈련이 아닌 추론 단계에 초점을 맞춤으로써 챗봇, 코드 생성, 실시간 분석과 같은 분야에서 빠르고 확장 가능한 모델 서빙에 대한 증가하는 수요를 해결합니다.
하드웨어 기반
Cerebras Inference는 단일 실리콘 웨이퍼가 하나의 거대한 프로세서로 기능하는 회사의 웨이퍼 스케일 엔진을 기반으로 합니다. 개별 다이로 절단되는 기존 칩과 달리, WSE는 수천 개의 코어와 온칩 메모리를 통합하여 개별 구성 요소 간의 데이터 이동 필요성을 줄입니다. 2021년에 도입된 2세대 WSE-2는 850,000개의 코어와 40기가바이트의 온칩 SRAM을 포함하여 전체 모델을 메모리에 보관하고 외부 메모리 액세스와 관련된 병목 현상을 피할 수 있습니다.
이 아키텍처는 매우 높은 메모리 대역폭과 낮은 지연 시간을 허용하기 때문에 추론에 특히 적합합니다. 예를 들어, 이 서비스는 특정 모델에 대해 초당 1,800개 이상의 토큰을 생성하는 속도를 보고했으며, 이는 많은 GPU 기반 시스템보다 우수한 수치입니다. 하드웨어는 고급 공정 노드를 사용하여 웨이퍼 스케일 구성 요소를 생산하는 TSMC와의 파트너십을 통해 제조됩니다.
서비스 기능 및 모델
이 서비스는 스트리밍 및 비스트리밍 응답을 모두 지원하는 관리형 API를 제공하며, 개발자의 통합을 용이하게 하기 위해 OpenAI 스타일 엔드포인트와의 호환성을 제공합니다. 처음에는 Llama 3.1 8B 및 70B 모델을 지원하여 출시되었으며, 이후 Mistral 7B 및 최신 버전의 Llama와 Qwen이 추가되었습니다. 2025년 현재 플랫폼은 최대 4,050억 개의 매개변수를 가진 모델을 포함하도록 확장되었지만, 이러한 대규모 모델은 여러 웨이퍼에 걸친 분산 실행이 필요할 수 있습니다.
Cerebras Inference는 또한 실험을 위한 무료 속도 제한이 있는 서버리스 계층과 생산 워크로드를 위한 유료 요금제를 제공합니다. 이 서비스에는 최신 LLM 플랫폼에서 흔한 구조화된 출력, 함수 호출, JSON 모드와 같은 기능이 포함됩니다. 초기 출시 버전에서는 미세 조정 기능을 제공하지 않으며, 사전 훈련된 모델 서빙에 중점을 둡니다.
성능 및 벤치마크
독립적인 벤치마크는 특히 소규모 모델에서 Cerebras Inference의 속도를 강조했습니다. 인공 분석에서 실시한 테스트에서 이 서비스는 특정 Llama 모델에 대해 주요 제공업체 중 최고의 처리량을 달성하여 Groq, SambaNova 및 AWS의 제공을 능가했습니다. 낮은 지연 시간은 별도의 메모리 칩 간에 데이터가 이동할 필요가 없게 하는 웨이퍼 스케일 설계 덕분입니다.
그러나 성능은 모델 크기와 요청 패턴에 따라 다릅니다. 매우 큰 모델의 경우 서비스가 최고급 GPU 클러스터를 능가하지 못할 수 있으며, 회사는 온칩 메모리에 완전히 맞는 모델에서 그 이점이 가장 두드러진다고 인정했습니다. 이 서비스는 또한 높은 볼륨 애플리케이션의 효율성을 향상시킬 수 있는 배치 처리를 지원합니다.
경쟁 구도
Cerebras Inference는 AI 추론 제공업체의 혼잡한 시장에서 경쟁합니다. 주요 클라우드 플랫폼인 Google Cloud, Azure 및 AWS는 GPU 기반 추론 서비스를 제공하는 반면, Groq 및 SambaNova와 같은 전문 스타트업은 맞춤형 하드웨어 솔루션을 제공합니다. Cerebras는 메모리 대역폭과 컴퓨팅 밀도의 독특한 조합을 제공하는 웨이퍼 스케일 접근 방식을 통해 차별화합니다.
이 서비스는 Graphcore 및 D-Wave와 같은 회사와 함께 목적에 맞게 구축된 AI 인프라라는 더 넓은 추세의 일부이지만, 이러한 회사는 다른 부문에 중점을 둡니다. Cerebras는 또한 여러 플랫폼에 배포할 수 있는 오픈 가중치 모델을 제공하여 공급업체 종속을 피하려는 기업을 위한 파트너로 자리매김했습니다.
채택 및 사용 사례
Cerebras Inference의 초기 채택자에는 실시간 AI 응답이 필요한 스타트업 및 연구 기관이 포함되며, 대화형 에이전트 및 코딩 어시스턴트와 같은 용도로 사용됩니다. 이 서비스는 고객 지원 자동화부터 과학적 데이터 분석에 이르는 애플리케이션에 사용되었습니다. 낮은 지연 시간은 생성형 AI 도구와 같이 사용자가 즉각적인 피드백을 기대하는 대화형 사용 사례에 적합합니다.
회사는 학술 기관 및 기업과의 파트너십을 보고했지만, 특정 고객 이름이 항상 공개되지는 않습니다. 2025년 현재 서비스는 계속 발전하고 있으며, 사용자 피드백을 기반으로 더 많은 모델과 기능을 추가할 계획입니다. 가격 모델은 경쟁력이 있으며, 높은 처리량 워크로드의 경우 GPU 기반 대안보다 저렴한 경우가 많습니다.
향후 방향
Cerebras Systems는 추론 서비스를 확장하여 추가 모델 아키텍처와 더 큰 매개변수 수를 지원할 것이라고 밝혔습니다. 회사는 또한 단일 칩의 메모리 용량을 초과하는 모델을 처리하기 위해 다중 웨이퍼 스케일링을 개선하는 작업을 진행 중입니다. 기계 학습 모델의 급속한 발전에 따라 서비스는 낮은 지연 시간 추론의 최전선에 머물기 위해 트랜스포머 변형 및 신경망 혁신과 같은 신흥 기술과 통합할 가능성을 목표로 합니다.
AI 추론에 대한 수요가 증가함에 따라 Cerebras Inference는 전통적인 칩 제조업체와 클라우드 제공업체의 지배력에 도전하는 주목할 만한 시도를 나타냅니다. 그 성공은 지속적인 하드웨어 개선과 광범위한 개발자 커뮤니티를 유치하는 능력에 달려 있습니다.