Gaudi는 Intel이 설계한 주문형 집적 회로(ASIC) 제품군으로, 특히 대규모 언어 모델 훈련 및 추론과 같은 딥러닝 워크로드를 가속화하기 위해 설계되었다. 이 아키텍처는 여러 텐서 처리 코어를 전용 네트워크 온 칩 및 고대역폭 메모리(HBM)와 통합하여 여러 가속기에서 효율적인 확장을 가능하게 하는 이기종 컴퓨팅 접근 방식을 강조한다. Gaudi 프로세서는 Nvidia의 GPU 기반 가속기와 AMD의 Instinct 시리즈 및 Google Cloud의 TPU와 같은 다른 AI 칩에 대한 경쟁 제품으로 자리매김하고 있다.
1세대 Gaudi 프로세서는 2019년에 발표되었으며, Intel이 약 20억 달러에 인수한 이스라엘 AI 칩 스타트업인 Habana Labs에 의해 개발되었다. 2세대인 Gaudi 2는 2022년에 출시되었고, 3세대인 Gaudi 3는 2024년에 공개되었다. Intel은 Gaudi를 AI 훈련 및 추론을 위한 비용 효율적인 대안으로 마케팅하며, 개방형 소프트웨어 생태계와 PyTorch 및 TensorFlow와 같은 인기 프레임워크 지원에 중점을 둔다.
역사
Gaudi의 기원은 2016년 David Dahan, Ran Halutz 등이 이스라엘 카이사리아에 본사를 두고 설립한 Habana Labs로 거슬러 올라간다. 이 회사는 처음에 2018년에 출시된 Goya 추론 칩을 개발한 후 Gaudi로 훈련에 초점을 전환했다. Intel은 2019년 12월 Habana Labs를 인수하여 팀을 데이터 플랫폼 그룹에 통합했다. 이 인수는 AI 가속기 시장에서 경쟁하려는 Intel의 광범위한 전략의 일부였으며, 이 시장은 Nvidia가 지배하고 있었다.
아키텍처
Gaudi 프로세서는 확장 가능한 네트워크 패브릭과 결합된 여러 텐서 처리 코어(TPC)를 통합하는 이기종 아키텍처를 기반으로 구축되었다. 각 TPC는 행렬 곱셈 및 컨볼루션과 같은 고밀도 컴퓨팅 작업을 처리하도록 설계되었으며, 온칩 메모리와 고대역폭 인터커넥트는 데이터 이동 병목 현상을 줄이는 데 도움이 된다. 이 설계는 다중 가속기 구성을 지원하여 Gaudi 칩이 대규모 AI 워크로드에 대해 선형적으로 확장될 수 있도록 한다.
세대
Gaudi 1
2019년에 출시된 1세대 Gaudi 프로세서는 32개의 TPC를 갖추고 있으며, 하드웨어에 최적화된 컴파일러, 런타임 및 라이브러리를 제공하는 SynapseAI 소프트웨어 스택과 함께 제공되었다. SynapseAI는 인기 있는 딥러닝 프레임워크와 통합되어 개발자가 기존 도구를 사용하여 Gaudi에서 모델을 배포할 수 있도록 한다. Gaudi 1은 주로 대규모 언어 모델의 훈련 및 추론을 위해 설계되었으며, 초기 벤치마크에서는 특정 작업에서 Nvidia GPU와 경쟁력 있는 성능을 보여주었다.
Gaudi 2
2022년에 출시된 Gaudi 2는 더 높은 메모리 대역폭, 향상된 TPC 성능 및 더 나은 전력 효율성을 갖춘 업그레이드된 아키텍처를 도입했다. 또한 더 큰 모델과 더 빠른 훈련 시간을 지원하는 향상된 네트워킹 기능을 통합했다. Intel은 Gaudi 2가 특히 추론 워크로드에서 비용 효율성 측면에서 Nvidia의 A100에 비해 우위를 제공한다고 주장했다. 2023년에 Intel은 Gaudi 2가 대규모 언어 모델 훈련 및 추론에서 1.5배에서 2배 더 나은 가격 대비 성능을 달성했다고 주장했다.
Gaudi 3
2024년에 공개된 Gaudi 3는 이전 세대에 비해 상당한 개선을 나타냈다. 더 많은 TPC, 더 높은 메모리 용량 및 향상된 상호 연결 대역폭을 갖추고 있어 더 큰 모델과 더 복잡한 워크로드를 처리할 수 있다. Intel은 Gaudi 3를 Nvidia의 H100과 직접 경쟁하도록 포지셔닝했으며, 특히 추론 및 훈련 시나리오에서 더 나은 성능 대비 전력 비율을 강조했다. 또한 이 칩은 기존 AI 프레임워크와의 호환성을 유지하면서 향상된 소프트웨어 최적화를 지원한다.
소프트웨어 생태계
Gaudi의 소프트웨어 스택은 SynapseAI를 중심으로 구축되었으며, 이는 하드웨어에 대한 추상화 계층을 제공한다. SynapseAI는 PyTorch 및 TensorFlow와 같은 주요 프레임워크를 지원하므로 개발자는 최소한의 코드 변경으로 모델을 마이그레이션할 수 있다. Intel은 또한 Gaudi를 Kubernetes 및 Docker와 같은 컨테이너화 플랫폼과 통합하여 클라우드 네이티브 배포를 용이하게 했다. 이 회사는 개방형 표준에 대한 약속을 강조하며, 독점 생태계에 대한 대안으로 Gaudi를 홍보한다.
클라우드 제공 및 배포
여러 클라우드 제공업체가 Gaudi 인스턴스를 제공하기 시작했다. AWS는 Gaudi 2 기반의 EC2 인스턴스를 출시했으며, IBM Cloud와 Google Cloud도 유사한 제품을 도입했다. 이러한 인스턴스는 대규모 AI 모델을 훈련하고 배포하려는 기업에 비용 효율적인 옵션을 제공하도록 설계되었다. Intel은 또한 시스템 통합업체 및 하드웨어 제조업체와 파트너십을 구축하여 온프레미스 배포를 위한 Gaudi 기반 서버를 제공했다.
수용 및 비판
업계 분석가들은 일반적으로 Gaudi를 Nvidia에 대한 신뢰할 수 있는 대안으로 평가했지만, 소프트웨어 성숙도와 생태계 지원이 여전히 약하다고 지적한다. 일부 비평가들은 Intel의 벤치마크 주장이 실제 성능을 반영하지 않을 수 있는 특정 구성에 기반하는 경우가 많다고 지적했다. 또한 Nvidia의 지배적인 소프트웨어 생태계와 광범위한 채택은 Gaudi가 시장 점유율을 확보하는 데 장벽이 되었다. Intel은 총 소유 비용(TCO) 및 전력 효율성을 강조하며 이러한 비판에 대응했으며, 대규모 배포에서 Gaudi가 더 나은 가치를 제공한다고 주장했다.
미래 개발
Intel은 Gaudi 제품군을 계속 개발할 계획을 발표했으며, Gaudi 4는 2025년에 출시될 예정이다. 차세대 칩은 더 고급 제조 공정을 사용하고 성능을 더욱 향상시킬 것으로 기대된다. Intel은 또한 이기종 컴퓨팅을 단순화하기 위해 Gaudi를 Xeon 프로세서 및 oneAPI 통합 프로그래밍 모델과 통합하는 작업을 진행 중이다. 2025년 현재 Intel은 클라우드 및 엔터프라이즈 부문을 모두 대상으로 AI 가속기 시장에서 더 큰 점유율을 확보하는 것을 목표로 하고 있다.
같이 보기
참고 문헌
- Intel Newsroom. "Intel Acquires Habana Labs to Expand AI Portfolio." 2019년 12월 16일.
- Habana Labs. "Gaudi Training Processor." 2019.
- Intel. "Intel Gaudi 2 AI Accelerator." 2022.
- Intel. "Intel Gaudi 3 AI Accelerator." 2024.
- Gaudi 인스턴스에 대한 클라우드 제공업체 문서(AWS, IBM Cloud, Google Cloud).