Dataflow는 SambaNova Systems가 Artificial intelligence 워크로드를 가속화하기 위해 개발한 컴퓨팅 아키텍처이다. 명령어를 순차적으로 실행하는 기존 프로세서 설계와 달리, Dataflow는 계산을 방향성 그래프로 구성하여 데이터가 처리 요소 네트워크를 통해 지속적으로 흐르게 한다. 이 접근 방식은 Deep learning 모델, 예를 들어 신경망과 대규모 언어 모델에서 발견되는 구조화되고 반복적인 연산에 맞춰져 있다. 이 아키텍처는 DataScale 시스템과 SN10 시리즈의 재구성 가능한 데이터플로우 유닛(RDU)을 포함한 SambaNova의 맞춤형 하드웨어에 구현되어 있다.
Dataflow 아키텍처는 스탠포드 대학교의 연구에서 비롯되었으며, 2017년 Kunle Olukotun, Christopher Ré, Rodrigo Liang이 설립한 SambaNova에 의해 상용화되었다. 회사의 첫 제품인 DataScale SN10은 2020년에 발표되었고 2021년에 출하되기 시작했다. 이 아키텍처는 메모리와 계산 유닛 간 데이터 이동에 상당한 에너지를 소비하는 기존 GPU 기반 시스템을 제한하는 메모리 대역폭 병목 현상을 해결하도록 설계되었다. 데이터를 칩 내부에 유지하고 구성 가능한 패브릭을 통해 스트리밍함으로써, Dataflow는 AI 추론 및 훈련에서 더 높은 활용률과 더 낮은 지연 시간을 달성하는 것을 목표로 한다.
설계 원칙
Dataflow의 핵심 원칙은 명령어 인출 및 디코딩에서 계산을 분리하여 폰 노이만 병목 현상을 제거하는 것이다. 기존 CPU 또는 GPU에서 각 연산은 명령어를 인출하고, 디코딩한 후, 메모리에서 가져온 데이터에 대해 실행해야 한다. Dataflow는 대신 전체 모델을 정적 데이터플로우 그래프로 컴파일하며, 여기서 각 노드는 수학적 연산(예: 행렬 곱셈 또는 활성화)을 나타내고 각 간선은 데이터 종속성을 나타낸다. 그래프는 각각 자체 로컬 메모리와 산술 유닛을 가진 처리 요소(PE) 그리드에 매핑된다.
Dataflow 아키텍처의 각 PE는 곱셈-누적, 활성화 함수, 풀링을 포함한 다양한 연산을 수행할 수 있다. PE는 최근접 이웃 및 장거리 통신을 모두 지원하는 고대역폭, 저지연 네트워크를 통해 상호 연결된다. 이 네트워크의 구성은 컴파일 시간에 결정되어 하드웨어가 각 특정 모델에 맞게 전문화될 수 있게 한다. 이러한 재구성 가능성은 데이터플로우 원리를 사용하지만 다른 트레이드오프를 가진 AWS Trainium 또는 Groq의 텐서 스트리밍 프로세서와 같은 고정 기능 가속기와의 주요 차별점이다.
컴파일 및 소프트웨어 스택
SambaNova는 PyTorch 및 TensorFlow와 같은 프레임워크로 작성된 모델을 Dataflow 그래프로 컴파일하는 SambaFlow라는 소프트웨어 스택을 제공한다. 컴파일러는 연산자 융합, 메모리 레이아웃 최적화, 파이프라이닝을 포함한 여러 최적화를 수행한다. 또한 그래프를 물리적 PE 그리드에 매핑하여 계산 및 메모리 리소스를 균형 있게 조정한다. SambaFlow는 훈련과 추론을 모두 지원하며 데이터 이동 및 동기화를 관리하는 런타임을 포함한다.
컴파일 프로세스는 정적이므로 그래프는 실행이 시작되기 전에 완전히 결정된다. 이를 통해 컴파일러는 연산을 정밀하게 스케줄링하고 런타임 오버헤드를 피할 수 있다. 그러나 이는 가변 반복 횟수를 가진 루프와 같은 동적 제어 흐름이 언롤되거나 특수 메커니즘을 통해 처리되어야 함을 의미한다. SambaNova는 대부분의 현대 Generative AI 시스템의 기반이 되는 트랜스포머 모델을 지원하도록 컴파일러를 확장하여 어텐션 메커니즘과 피드포워드 레이어를 최적화했다.
하드웨어 구현
2020년에 도입된 SN10 RDU는 400억 개의 트랜지스터를 포함하며 TSMC에서 7나노미터 공정으로 제조된다. PE 그리드에 분산된 48GB의 온칩 SRAM을 갖추고 있다. 칩은 약 1.2GHz의 클록 속도로 작동하지만, 성능은 원시 클록 속도보다는 데이터플로우 처리량으로 측정된다. SambaNova는 단일 SN10이 희소 모델의 경우 최대 638테라플롭스, 밀집 모델의 경우 125테라플롭스의 계산을 제공할 수 있다고 주장하지만, 이러한 수치는 워크로드에 따라 달라진다.
DataScale 시스템은 단일 섀시에 여러 SN10 칩을 통합하며 시스템당 최대 16개의 RDU를 지원한다. 이러한 시스템은 피어 투 피어 통신을 지원하는 고속 상호 연결로 연결된다. SN30 및 SN40과 같은 후속 세대는 메모리 및 계산 용량을 증가시켰으며, 2023년에 도입된 SN40은 1.5TB의 온칩 메모리와 최대 5조 개의 매개변수를 가진 모델을 지원한다. 하드웨어에는 프루닝 및 희소성을 위한 특수 유닛도 포함되어 있어 0값 계산을 건너뛰어 효율성을 향상시킬 수 있다.
성능 특성
Dataflow 시스템은 동일한 모델이 다른 입력으로 반복 실행되는 추론 워크로드에 특히 효과적이다. 정적 스케줄링은 예측 가능한 지연 시간을 허용하며, 온칩 메모리는 외부 DRAM에 접근할 필요를 줄인다. SambaNova가 발표한 벤치마크에서 DataScale SN10은 BERT 및 GPT-3를 포함한 여러 인기 모델에서 NVIDIA A100 GPU보다 높은 처리량을 달성하면서 전력 소비는 더 낮다. 그러나 독립적인 벤치마크는 제한적이며 실제 성능은 모델 및 배치 크기에 따라 달라질 수 있다.
훈련의 경우 Dataflow는 빈번한 가중치 업데이트와 그래디언트 계산의 동적 특성으로 인해 어려움에 직면한다. SambaNova는 데이터 병렬 처리와 모델 병렬 처리를 지원하여 여러 RDU가 모델의 다른 부분에서 작업하도록 함으로써 이를 해결했다. 컴파일러는 순방향 및 역방향 패스를 파이프라인하여 계산과 통신을 겹칠 수 있다. 이러한 노력에도 불구하고 훈련 성능은 추론보다 덜 경쟁력이 있으며 많은 고객이 주로 배포에 Dataflow를 사용한다.
다른 아키텍처와의 비교
Dataflow는 종종 온칩 메모리를 가진 매니코어 설계를 사용하는 Graphcore의 IPU와 비교된다. 주요 차이점은 Graphcore가 더 전통적인 명령어 기반 실행 모델을 사용하는 반면 Dataflow는 순수 데이터 기반이라는 점이다. Groq의 텐서 스트리밍 프로세서는 또 다른 데이터플로우 유사 아키텍처이지만 온칩 메모리가 없는 더 단순하고 엄격한 설계를 사용하며, 대신 대규모 곱셈-누적 유닛 배열을 통해 데이터를 스트리밍하는 데 의존한다. SambaNova의 재구성 가능성은 다양한 모델 형태에 더 많은 유연성을 제공하지만 컴파일러에 복잡성을 추가한다.
NVIDIA 또는 AMD의 GPU와 비교할 때 Dataflow는 소규모 배치에 대해 더 낮은 지연 시간과 추론에 대한 더 나은 에너지 효율성을 제공한다. 그러나 GPU는 성숙한 소프트웨어 생태계와 프레임워크 및 라이브러리에 대한 더 넓은 지원의 이점을 누린다. Dataflow의 장점은 어텐션 메커니즘이 PE 그리드에 효율적으로 매핑될 수 있는 대규모 트랜스포머 모델에서 가장 두드러진다.
응용 및 채택
SambaNova는 정부, 의료, 금융 서비스를 포함한 다양한 분야에 Dataflow 시스템을 배포했다. 주목할 만한 고객으로는 과학 컴퓨팅에 시스템을 사용하는 미국 에너지부와 SambaNova 하드웨어를 관리형 서비스로 제공하는 Oracle Cloud가 있다. 이 아키텍처는 자연어 처리, 컴퓨터 비전, 약물 발견과 같은 작업에 사용되었다. 2023년 SambaNova는 Dataflow 시스템에서 훈련된 1조 개의 매개변수를 가진 대규모 언어 모델인 Samba-1을 도입하여 대규모 훈련에 대한 아키텍처의 능력을 입증했다.
회사는 또한 고객이 하드웨어를 직접 구매하지 않고 시간을 임대할 수 있는 클라우드 서비스를 통해 Dataflow에 대한 접근성을 높이는 데 중점을 두었다. 이 모델은 고성능 AI 추론이 필요하지만 전용 인프라를 유지할 리소스가 부족한 기업에 채택되었다. 2024년 기준으로 SambaNova는 10억 달러 이상의 자금을 조달했으며 하드웨어와 소프트웨어를 계속 개선하고 있다.
과제 및 한계
Dataflow의 주요 과제 중 하나는 컴파일러의 복잡성이다. 임의의 모델을 PE 그리드에 매핑하려면 분할, 스케줄링, 메모리 할당을 위한 정교한 알고리즘이 필요하다. 이러한 복잡성은 특히 대규모 모델의 경우 컴파일 시간이 길어질 수 있다. 또한 그래프의 정적 특성은 강화 학습과 같은 일부 응용 프로그램에서 흔한 동적 형태 또는 제어 흐름을 가진 모델을 지원하기 어렵게 만든다.
또 다른 한계는 GPU에 비해 생태계 지원이 부족하다는 점이다. 많은 AI 연구자와 개발자가 CUDA 및 PyTorch에 익숙하며 다른 프로그래밍 모델을 요구하는 새로운 아키텍처를 채택하는 것을 주저할 수 있다. SambaNova는 호환성 레이어를 제공하여 이를 완화했지만 여전히 격차가 있다. 회사는 또한 자체 맞춤형 가속기를 제공하는 Google Cloud 및 AWS와 같은 더 확립된 플레이어와의 경쟁에 직면했다.
미래 방향
SambaNova는 훈련 효율성 향상과 더 큰 모델 지원에 중점을 두고 Dataflow 아키텍처를 계속 발전시키고 있다. SN40 세대는 희소 계산 및 혼합 정밀도 산술에 대한 향상을 포함한다. 회사는 또한 엣지 장치에 Dataflow를 사용하는 가능성을 탐구하고 있지만 현재 하드웨어는 주로 데이터 센터용으로 설계되었다. Generative AI 모델이 커짐에 따라 효율적인 추론 하드웨어에 대한 수요가 증가할 가능성이 있으며 Dataflow의 접근 방식이 더 매력적이 될 수 있다.
데이터플로우 아키텍처에 대한 연구는 MIT CSAIL 및 Berkeley AI Research의 그룹이 유사한 아이디어를 탐구하면서 학계에서도 계속 진행 중이다. 데이터플로우 컴퓨팅의 원리는 1970년대까지 거슬러 올라가는 오랜 역사를 가지고 있지만, 칩 제조 및 컴파일러 기술의 발전 덕분에 상업적 AI 워크로드에 실용화된 것은 최근의 일이다. SambaNova의 Dataflow는 이 개념의 가장 두드러진 상업적 구현 중 하나를 나타내며, 그 성공은 빠르게 변화하는 AI 환경에 적응하는 능력에 달려 있다.
결론
Dataflow는 데이터 이동 효율성과 재구성 가능성을 우선시하는 AI 가속화에 대한 독특한 접근 방식이다. 모델을 온칩 메모리를 가진 처리 요소 그리드에 매핑함으로써 추론 작업에 대해 기존 GPU에 대한 매력적인 대안을 제공한다. 컴파일러 복잡성과 생태계 채택에서 어려움에 직면하지만, 대규모 언어 모델에 대한 성능 이점은 상당한 투자와 고객 관심을 끌었다. AI 모델이 계속 성장함에 따라 Dataflow의 기반이 되는 원리는 더 넓은 컴퓨팅 산업에 점점 더 관련성이 높아질 수 있다.