Cerebras Wafer Scale Engine(WSE)는 2015년 Andrew Feldman 등이 설립한 회사인 Cerebras Systems가 개발한 대규모 인공지능 프로세서입니다. 실리콘 웨이퍼에서 잘라낸 기존 칩과 달리, WSE는 웨이퍼 전체를 하나의 칩으로 사용하여 수십만 개의 코어와 방대한 온칩 메모리를 통합합니다. 이 설계는 머신 러닝 및 딥 러닝 워크로드에서 전통적인 GPU 기반 시스템을 괴롭히는 통신 병목 현상과 메모리 한계를 줄이는 것을 목표로 합니다.
2019년에 발표된 1세대 WSE-1은 1.2조 개의 트랜지스터와 40만 개의 AI 최적화 코어를 포함하여 당시 제작된 칩 중 가장 컸습니다. 2021년에 출시된 2세대 WSE-2는 트랜지스터 수를 2.6조 개로 두 배로 늘리고 코어 수를 85만 개로 증가시켰으며, 온칩 메모리도 40GB로 늘렸습니다. 2024년에 Cerebras는 WSE-3를 도입하여 성능과 효율성을 더욱 향상시켰으며, 대규모 언어 모델 및 기타 생성형 AI 애플리케이션 훈련을 목표로 합니다.
아키텍처 및 설계
WSE의 아키텍처는 기존 프로세서와 근본적으로 다릅니다. 소수의 강력한 코어에 의존하는 대신, WSE는 수십만 개의 단순하고 에너지 효율적인 코어를 단일 웨이퍼에 집적합니다. 이러한 코어는 메시 네트워크로 상호 연결되어 대역폭을 제공하며, 코어 간 데이터 이동을 빠르게 합니다. WSE는 또한 대량의 정적 랜덤 액세스 메모리(SRAM)를 칩에 직접 통합하여 AI 워크로드에서 성능 병목 현상이 자주 발생하는 외부 메모리 접근 필요성을 줄입니다.
웨이퍼 스케일 설계는 다중 칩 시스템에서 흔한 칩 패키징 및 칩 간 통신의 필요성을 없앱니다. 이로 인해 데이터 집약적 작업에서 지연 시간이 낮아지고 처리량이 높아집니다. WSE는 고급 반도체 공정으로 제조되며, WSE-2와 WSE-3는 TSMC의 7나노미터 공정으로 제작됩니다.
소프트웨어 및 생태계
Cerebras는 WSE를 프로그래밍하기 위한 소프트웨어 스택인 Cerebras Software Platform(CSoft)을 개발했습니다. CSoft는 TensorFlow 및 PyTorch와 같은 인기 있는 딥 러닝 프레임워크를 지원하여 개발자가 최소한의 코드 변경으로 기존 모델을 실행할 수 있게 합니다. 이 플랫폼에는 신경망 그래프를 웨이퍼의 코어에 매핑하고 성능과 메모리 사용을 최적화하는 컴파일러가 포함됩니다.
이 회사는 또한 여러 WSE를 결합하여 매우 큰 모델의 훈련을 확장하는 시스템인 Cerebras Wafer-Scale Cluster를 제공합니다. 이 클러스터는 현대 트랜스포머 기반 아키텍처에서 흔한 수조 개의 매개변수를 가진 모델을 처리하도록 설계되었습니다.
성능 및 응용 분야
WSE는 훈련과 추론 모두에서 상당한 성능 이점을 입증했습니다. 예를 들어, 2023년에 Cerebras는 WSE-2로 구동되는 CS-2 시스템이 복잡한 모델 병렬 처리를 필요로 하지 않고 간단한 데이터 병렬 접근 방식을 사용하여 1,750억 개의 매개변수 모델(GPT-3와 유사한 규모)을 훈련할 수 있다고 발표했습니다. 이는 WSE의 대용량 온칩 메모리와 높은 대역폭을 활용하여 달성되었습니다.
추론 성능도 뛰어나며, 회사에 따르면 WSE-3는 대규모 언어 모델에 대해 초당 1,000개 이상의 토큰을 생성할 수 있습니다. 이는 대화형 AI 및 코드 생성과 같은 실시간 애플리케이션에 적합합니다.
WSE는 정부 기관과 연구 기관을 포함한 다양한 조직에서 채택되었습니다. 예를 들어, 인도의 바바 원자력 연구 센터는 과학 컴퓨팅에 Cerebras 시스템을 사용했습니다. 또한 Cerebras는 기술 지주 회사인 G42와 협력하여 중동에 AI 슈퍼컴퓨터를 구축했습니다.
다른 AI 칩과의 비교
WSE는 AWS Trainium(아마존 웹 서비스), Groq의 텐서 스트리밍 프로세서, SambaNova의 재구성 가능한 데이터플로우 장치와 같은 다른 특수 AI 프로세서와 경쟁합니다. 주요 경쟁자이지만 제공된 목록에는 없는 NVIDIA의 GPU와 달리, WSE는 온칩 메모리 최대화와 데이터 이동 최소화에 중점을 둡니다. 이 접근 방식은 특정 워크로드에서 더 효율적일 수 있지만, 제조 수율과 시스템 통합에 어려움을 제기합니다.
Graphcore의 IPU(Intelligence Processing Unit)와 비교하면, WSE는 더 많은 코어를 제공하지만 프로그래밍 유연성이 떨어지는 다른 트레이드오프를 제공합니다. WSE의 웨이퍼 스케일 설계는 또한 다중 다이를 사용하는 전통적인 칩 패키징을 사용하는 Intel 및 AMD의 제품과 차별화됩니다.
과제 및 한계
WSE의 주요 과제 중 하나는 제조 수율입니다. 웨이퍼 전체가 단일 칩으로 사용되기 때문에 웨이퍼의 결함은 전체 칩을 사용할 수 없게 만들 수 있습니다. Cerebras는 중복성과 결함 회피 기술(예: 결함 코어 주변 매핑)을 구현하여 이를 해결했습니다. 그러나 이는 여전히 최대 크기를 제한하고 비용을 증가시킵니다.
또 다른 한계는 전력 소비와 냉각입니다. WSE-2는 최대 15킬로와트의 전력을 소비하므로 특수 냉각 솔루션이 필요합니다. Cerebras는 맞춤형 액체 냉각 시스템을 사용하여 열을 효과적으로 발산합니다.
소프트웨어 호환성도 우려 사항입니다. CSoft는 인기 있는 프레임워크를 지원하지만, 일부 고급 기능이나 사용자 지정 작업은 완전히 최적화되지 않을 수 있습니다. 회사는 사용성을 개선하기 위해 소프트웨어 생태계를 계속 확장하고 있습니다.
향후 방향
Cerebras는 WSE 아키텍처를 계속 발전시키고 있습니다. 2024년에 발표된 WSE-3는 더 큰 모델과 더 빠른 훈련 시간을 지원하도록 설계되었습니다. 회사는 또한 AI를 넘어 과학 시뮬레이션 및 고성능 컴퓨팅과 같은 응용 분야를 탐색하고 있습니다.
2024년에 Cerebras는 기업공개(IPO)를 신청하여 확장 계획을 나타냈습니다. 회사는 AI 하드웨어 시장에서 기존 주요 업체와 더 직접적으로 경쟁하는 것을 목표로 합니다.
결론
Cerebras Wafer Scale Engine은 기존 칩 설계에서 과감한 이탈을 나타내며, AI 워크로드에 전례 없는 규모와 성능을 제공합니다. 제조 및 채택에 어려움을 겪고 있지만, 고급 AI 컴퓨팅 시장에서 틈새를 개척했습니다. AI 모델이 계속 성장함에 따라 온칩 리소스 최대화라는 WSE의 접근 방식은 점점 더 관련성이 높아질 수 있습니다.