Gaudi는 인텔의 자회사인 Habana Labs가 개발한 AI 훈련 프로세서 제품군으로, 대규모 모델의 딥러닝 워크로드를 가속화하도록 설계되었다. 이 프로세서는 인공지능 모델, 특히 대규모 언어 모델 및 기타 딥러닝 아키텍처의 훈련과 추론에 최적화되어 있다. 2016년에 설립된 Habana Labs는 2019년에 인텔에 인수되었으며, Gaudi 제품군은 인텔의 AI 하드웨어 전략의 핵심 부분이 되었다.
1세대인 Gaudi 1은 2019년에 발표되었으며 데이터 센터 훈련을 대상으로 했다. 통합 이더넷 네트워킹을 갖춘 특수 아키텍처를 특징으로 하여 여러 노드에 걸친 확장이 가능했다. 2세대인 Gaudi 2는 2022년에 출시되어 성능과 메모리 용량을 개선했으며, 클라우드 제공업체와 기업들이 채택했다. 2024년에는 인텔이 Gaudi 3를 도입하여 트랜스포머 기반 모델의 훈련 처리량을 더욱 향상시켰으며, 엔비디아와 AMD의 제품과 경쟁했다.
아키텍처 및 설계
Gaudi 프로세서는 행렬 곱셈 엔진, 벡터 처리 장치, 범용 CPU 코어를 결합한 이기종 아키텍처를 중심으로 구축되었다. 이 설계는 신경망 연산의 높은 활용률에 중점을 두며, 데이터 이동 병목 현상을 줄이는 데 초점을 맞춘다. 일부 경쟁사와 달리 Gaudi는 이더넷을 통한 온칩 네트워킹을 통합하여 다중 노드 훈련 구성에서 별도의 네트워크 어댑터를 제거한다.
프로세서는 대용량 온칩 SRAM과 고대역폭 HBM2E 메모리를 갖춘 맞춤형 메모리 계층 구조를 사용한다. 예를 들어, Gaudi 3는 128GB의 HBM2E 메모리와 3.7TB/s의 메모리 대역폭을 제공한다. 이 아키텍처는 훈련과 추론을 모두 지원하며, PyTorch 및 TensorFlow와 같은 인기 있는 프레임워크에 대한 소프트웨어 최적화가 포함된다.
성능 및 벤치마크
Habana는 Gaudi 2와 Gaudi 3가 ResNet 및 트랜스포머 기반 언어 모델과 같은 모델에서 경쟁력 있는 훈련 시간을 달성한다는 성능 벤치마크를 발표했다. 내부 테스트에서 Gaudi 3는 Gaudi 2에 비해 LLM 훈련 속도를 최대 50%, 추론 속도를 최대 40% 향상시켰다. 그러나 독립적인 벤치마크는 제한적이며, 실제 성능은 소프트웨어 성숙도와 시스템 통합에 따라 달라진다.
이 프로세서는 수천 개의 노드로 확장할 수 있도록 설계되었으며, 데이터 증강 및 모델 가지치기 툴킷을 제공하여 배포를 위한 모델 최적화를 돕는다. Habana의 소프트웨어 스택인 SynapseAI는 하드웨어 작업을 자동으로 최적화하는 그래프 컴파일러를 제공한다.
소프트웨어 생태계
SynapseAI는 Gaudi의 핵심 소프트웨어 프레임워크로, ONNX와 인기 있는 딥러닝 프레임워크를 지원하는 사용자 친화적인 인터페이스를 제공한다. 여기에는 연산을 융합하고 메모리 사용을 최적화하며 프로세서 코어 간 작업을 스케줄링하는 그래프 컴파일러가 포함된다. 이 소프트웨어는 또한 Horovod 및 PyTorch의 분산 데이터 병렬 모듈을 통한 분산 훈련을 지원한다.
Habana는 허깅 페이스와 협력하여 BERT, GPT, LLaMA를 포함한 수천 개의 모델을 Gaudi에 맞게 최적화했다. 이 통합을 통해 개발자는 최소한의 코드 변경으로 이러한 모델을 실행할 수 있다. 또한, 소프트웨어에는 추론 효율성을 개선하기 위한 양자화 및 가지치기 도구가 포함된다.
시장 위치 및 경쟁
Gaudi는 엔비디아의 A100 및 H100 GPU와 AMD의 MI300 시리즈와 직접 경쟁한다. 엔비디아가 AI 훈련 시장을 지배하는 반면, Gaudi는 특히 이더넷 기반 클러스터에서 경쟁력 있는 성능을 갖춘 저비용 대안을 제공한다. Habana는 또한 Gaudi를 총 소유 비용이 더 낮은 전력 효율적인 옵션으로 포지셔닝했다.
2024년, 인텔은 Gaudi 3가 AWS와 Google Cloud를 통해 제공될 것이라고 발표하며 그 범위를 확장했다. 그러나 CUDA의 성숙도와 그 주변의 광범위한 생태계로 인해 엔비디아에 비해 채택은 여전히 제한적이다. Habana는 호환성 계층과 파트너십을 제공하여 이러한 격차를 좁히기 위해 노력해 왔다.
사용 사례 및 채택
Gaudi 프로세서는 생성형 AI, 컴퓨터 비전, 자연어 처리를 포함한 다양한 AI 애플리케이션에 사용된다. 특히 대규모 언어 모델과 추천 시스템 훈련에 적합하다. 초기 채택자로는 추론에 Gaudi를 사용하는 허깅 페이스와 Gaudi 인스턴스를 제공하는 여러 클라우드 서비스 제공업체가 있다.
2023년, 인텔은 OpenAI와 협력하여 Gaudi를 해당 모델에 최적화한다고 발표했지만, 세부 사항은 부족했다. 또한 AWS는 훈련용 Gaudi 기반 인스턴스를 제공하며, 구글 클라우드와 오라클 클라우드도 Gaudi를 통합했다. 이 프로세서는 학술 연구에서도 사용되었으며, 스탠포드 AI 연구소와 버클리 AI 연구소가 그 기능을 탐구하고 있다.
사용 사례 및 채택
Gaudi 프로세서는 생성형 AI, 컴퓨터 비전, 자연어 처리를 포함한 다양한 AI 응용 분야에서 사용된다. 특히 대규모 언어 모델 및 추천 시스템 훈련에 적합하다. 초기 채택자에는 추론에 Gaudi를 사용하는 허깅 페이스, Gaudi 인스턴스를 제공하는 여러 클라우드 서비스 제공업체가 포함된다.
2023년에 인텔은 OpenAI와 협력하여 Gaudi를 그들의 모델에 최적화한다고 발표했지만, 세부 사항은 부족했다. 또한 AWS는 훈련용 Gaudi 인스턴스를 제공하고, 오라클 클라우드는 AI 인프라에 Gaudi를 통합했다. 이 프로세서는 학술 연구에서도 사용되었으며, 스탠포드 AI 랩과 버클리 AI 연구는 그 기능을 탐구하고 있다.
사용 사례 및 채택
Gaudi 프로세서는 생성형 AI, 컴퓨터 비전, 자연어 처리를 포함한 다양한 AI 응용 분야에서 사용된다. 특히 대규모 언어 모델과 추천 시스템 훈련에 적합하다. 초기 사용자로는 추론에 Gaudi를 사용하는 허깅 페이스와 Gaudi 인스턴스를 제공하는 여러 클라우드 서비스 제공업체가 포함된다.
2023년, 인텔은 OpenAI와 협력하여 Gaudi를 그들의 모델에 맞게 최적화할 것이라고 발표했다. 또한, AWS는 훈련용 Gaudi 인스턴스를 제공하고 있으며, Oracle Cloud는 AI 인프라에 Gaudi를 통합했다. 이 프로세서는 학술 연구에서도 사용되었으며, 스탠퍼드 AI 연구소와 버클리 AI 연구소가 그 기능을 탐구하고 있다.
향후 개발
인텔은 Gaudi의 로드맵을 발표했으며, 향후 세대는 에너지 효율성과 성능을 더욱 향상시킬 것으로 예상된다. 회사는 또한 엔비디아 플랫폼에서의 전환을 용이하게 하기 위한 소프트웨어 개선에 투자하고 있다. 2025년 현재 Gaudi 3가 최신 세대이며, 인텔은 개발 중인 Gaudi 4를 예고했다.
Gaudi의 성공은 인텔 AI 생태계의 성장과 가격 및 성능 경쟁력에 달려 있다. 생성형 AI와 LLM의 부상으로 AI 하드웨어에 대한 수요가 증가하면서, Gaudi는 이 시장에서 점유율을 확보할 위치에 있다.
결론
Gaudi는 인텔이 AI 하드웨어 시장에서 엔비디아 GPU에 대한 실질적인 대안을 제공하려는 핵심 전략이다. 통합 네트워킹과 경쟁력 있는 성능으로 다중 노드 훈련에서 차별화를 꾀하며, 소프트웨어 생태계와 클라우드 파트너십을 통해 채택을 확대하고 있다. 소프트웨어 성숙도와 생태계 지원은 여전히 과제로 남아 있지만, 지속적인 개발과 파트너십을 통해 AI 하드웨어 시장에서 중요한 역할을 할 것으로 기대된다.