Gaudi ist eine Familie von anwendungsspezifischen integrierten Schaltkreisen (ASICs), die von Intel entwickelt wurde, um Deep-Learning-Workloads zu beschleunigen, insbesondere das Training und die Inferenz von Large Language Models. Die Architektur betont einen heterogenen Rechenansatz, der mehrere Tensorverarbeitungskerne mit einem dedizierten Network-on-Chip und High-Bandwidth-Speicher (HBM) integriert, um eine effiziente Skalierung über mehrere Beschleuniger hinweg zu ermöglichen. Gaudi-Prozessoren positionieren sich als Konkurrenten zu den GPU-basierten Beschleunigern von Nvidia sowie zu anderen KI-Chips wie der Instinct-Serie von AMD und den TPUs von Google Cloud.
Der Prozessor der ersten Generation, Gaudi, wurde 2019 angekündigt und von Habana Labs entwickelt, einem israelischen KI-Chip-Startup, das Intel 2019 für etwa 2 Milliarden US-Dollar übernahm. Die zweite Generation, Gaudi 2, wurde 2022 eingeführt, und die dritte Generation, Gaudi 3, wurde 2024 vorgestellt. Intel vermarktet Gaudi als kostengünstige Alternative für KI-Training und -Inferenz, mit einem Fokus auf offene Software-Ökosysteme und Unterstützung für gängige Frameworks wie PyTorch und TensorFlow.
Geschichte
Die Ursprünge von Gaudi reichen bis zu Habana Labs zurück, das 2016 von David Dahan, Ran Halutz und anderen gegründet wurde und seinen Hauptsitz in Caesarea, Israel, hat. Das Unternehmen entwickelte zunächst den Goya-Inferenzchip, der 2018 veröffentlicht wurde, bevor es sich mit Gaudi auf das Training konzentrierte. Intel übernahm Habana Labs im Dezember 2019 und integrierte das Team in seine Data Platforms Group. Die Übernahme war Teil von Intels breiterer Strategie, im KI-Beschleunigermarkt zu konkurrieren, der von Nvidias GPUs dominiert wurde.
Der erste Gaudi-Prozessor, Gaudi 1, wurde offiziell 2019 eingeführt, mit frühen Kunden wie Amazon Web Services (AWS), das 2021 Instanzen auf Basis von Gaudi anbot. Gaudi 2, im Mai 2022 angekündigt, bot deutliche Verbesserungen bei Speicherkapazität und Rechenleistung und wurde von Cloud-Anbietern und Unternehmen übernommen. Im April 2024 führte Intel Gaudi 3 ein, das einen fortschrittlicheren 5-nm-Prozess (hergestellt von TSMC) nutzte und die Leistung für das Training großer Sprachmodelle im Vergleich zum Vorgänger verdoppelte.
Architektur
Gaudi-Prozessoren basieren auf einer heterogenen Architektur, die mehrere Tensorverarbeitungskerne (TPCs) mit einem skalierbaren Netzwerk-Fabric kombiniert. Jeder Gaudi-Chip umfasst einen Satz vollständig programmierbarer TPCs, die Matrixmultiplikationen und andere Tensoroperationen ausführen, ähnlich den Tensor-Kernen in Nvidia-GPUs. Die TPCs werden durch ein dediziertes Speichersubsystem mit HBM ergänzt, das hohe Bandbreite für die Datenversorgung der Recheneinheiten bietet.
Ein charakteristisches Merkmal von Gaudi ist die integrierte Netzwerkfähigkeit. Im Gegensatz zu GPUs, die typischerweise externe InfiniBand- oder Ethernet-Switches für die Mehrmodenskala benötigen, integriert Gaudi On-Chip-RDMA-Engines (Remote Direct Memory Access) über Ethernet (RoCE). Dies ermöglicht es, mehrere Gaudi-Beschleuniger direkt miteinander zu verbinden, was die Kosten und Komplexität des Aufbaus großer KI-Cluster reduziert. Das Network-on-Chip (NoC) ermöglicht effiziente Kommunikation zwischen TPCs innerhalb eines einzelnen Chips, während die RoCE-Engines die Kommunikation zwischen Chips übernehmen.
Gaudi 2 und Gaudi 3 integrieren außerdem eine dedizierte Matrixmultiplikations-Engine, getrennt von den TPCs, um Operationen zu beschleunigen, die in Transformatoren und anderen modernen neuronalen Netzwerkarchitekturen häufig vorkommen. Die Prozessoren unterstützen Mixed-Precision-Training, einschließlich FP32-, BF16- und FP8-Formaten, um Genauigkeit und Leistung auszubalancieren.
Generationen
Gaudi 1
Der Prozessor der ersten Generation, Gaudi 1, der 2019 veröffentlicht wurde, verfügte über 32 TPCs und 16 GB HBM2-Speicher mit einer Bandbreite von 1,2 TB/s. Er wurde für das Training und die Inferenz von neuronalen Netzwerkmodellen entwickelt, mit einem Fokus auf Effizienz und Skalierbarkeit. Gaudi 1 erreichte eine Leistung von 1,6 TFLOPS pro Chip in BF16-Präzision (obwohl diese Zahl oft als 1,6 TFLOPS für dichte Matrixoperationen angegeben wird). Der Chip wurde mit einem 16-nm-Prozess von TSMC hergestellt.
Gaudi 2
Gaudi 2, eingeführt 2022, verdoppelte die Anzahl der TPCs auf 64 und erhöhte die HBM-Kapazität auf 96 GB HBM2e mit einer Bandbreite von 2,4 TB/s. Es fügte außerdem eine dedizierte Matrixmultiplikations-Engine hinzu, was die Leistung auf 3,2 TFLOPS in BF16 steigerte. Gaudi 2 wurde auf einem 7-nm-Prozess gebaut. Intel behauptete, dass Gaudi 2 im Vergleich zu Nvidias A100-GPU für das Training großer Sprachmodelle ein besseres Preis-Leistungs-Verhältnis bot, und verwies auf Benchmarks mit Modellen wie GPT-3 und BERT.
Gaudi 3
Gaudi 3, im April 2024 angekündigt, stellte einen großen architektonischen Sprung dar. Es integrierte 128 TPCs und eine leistungsfähigere Matrix-Engine, mit 128 GB HBM2e-Speicher und einer Bandbreite von 3,7 TB/s. Der Chip wurde mit einem 5-nm-Prozess bei TSMC hergestellt. Intel gab an, dass Gaudi 3 ein 175-Milliarden-Parameter-Large language model (ähnlich GPT-3) 50 % schneller trainieren könnte als Nvidias H100-GPU, während es weniger Strom verbraucht. Gaudi 3 führte außerdem Unterstützung für FP8-Präzision ein, was den Durchsatz weiter verbesserte.
Software-Ökosystem
Gaudi-Prozessoren werden durch Intels SynapseAI-Software-Stack unterstützt, der einen Compiler, eine Laufzeitumgebung und für die Hardware optimierte Bibliotheken bereitstellt. SynapseAI integriert sich in gängige Deep-Learning-Frameworks, einschließlich PyTorch und TensorFlow, sodass Entwickler Modelle mit minimalen Codeänderungen ausführen können. Intel bietet auch eine Hugging-Face-Integration an, die die einfache Bereitstellung vortrainierter Transformatoren ermöglicht.
Der Software-Stack umfasst Tools zur Modelloptimierung, wie Quantisierung und Graph-Kompilierung, sowie Unterstützung für verteiltes Training über mehrere Gaudi-Knoten. Intel hat Offenheit betont, wobei Gaudi standardmäßige Netzwerkprotokolle (RoCE) unterstützt und mit Kubernetes für die Orchestrierung in Cloud-Umgebungen kompatibel ist.
Leistung und Benchmarks
Intel hat Benchmark-Ergebnisse für Gaudi-Prozessoren veröffentlicht, insbesondere für Training und Inferenz großer Sprachmodelle. Im Jahr 2023 behauptete Intel, dass Gaudi 2 für das Training von GPT-3- und Llama-2-Modellen ein 1,5- bis 2-mal besseres Preis-Leistungs-Verhältnis als Nvidias A100 erzielte. Für Gaudi 3 berichtete Intel eine 1,7-fache Verbesserung des Trainingsdurchsatzes für GPT-3 im Vergleich zu Nvidias H100 und eine 2-fache Verbesserung bei der Inferenz für Modelle wie Falcon und Llama 3.
Unabhängige Benchmarks waren begrenzt, aber einige Cloud-Anbieter wie AWS und IBM Cloud haben Instanzen auf Basis von Gaudi angeboten und wettbewerbsfähige Ergebnisse berichtet. Im Jahr 2024 kündigte Intel auch eine Zusammenarbeit mit Google Cloud an, um Gaudi 3 als Dienst anzubieten und so die Verfügbarkeit zu erweitern.
Marktposition und Wettbewerb
Gaudi konkurriert direkt mit Nvidias Rechenzentrums-GPUs, einschließlich A100, H100 und dem neueren H200, sowie mit der Instinct-MI300-Serie von AMD und den Trainium- und Inferentia-Chips von AWS. Intel positioniert Gaudi als kostengünstigere Alternative, insbesondere für Unternehmen und Cloud-Anbieter, die ihre KI-Infrastrukturkosten senken möchten. Das Unternehmen hat auch die Energieeffizienz von Gaudi hervorgehoben, die ein wachsendes Anliegen für Rechenzentren ist.
Trotz seiner technischen Vorzüge hatte Gaudi Schwierigkeiten, breite Akzeptanz zu gewinnen, teilweise aufgrund von Nvidias dominantem Software-Ökosystem (CUDA) und etablierter Marktpräsenz. Intel hat versucht, dem durch Unterstützung offener Standards und Bereitstellung von Migrationswerkzeugen entgegenzuwirken, aber bis 2025 bleibt Gaudis Marktanteil im Vergleich zu Nvidia gering.
Anwendungen
Gaudi-Prozessoren werden sowohl für das Training als auch für die Inferenz von Deep-Learning-Modellen eingesetzt, mit einem Fokus auf große Sprachmodelle, Computer Vision und Empfehlungssysteme. Sie werden in Cloud-Rechenzentren, On-Premises-Unternehmenssystemen und Edge-Umgebungen bereitgestellt. Zu den wichtigsten Anwendungsfällen gehören natürliche Sprachverarbeitung, Bilderkennung und generative KI-Anwendungen wie Chatbots und Inhaltsgenerierung.
Zusätzlich zu Cloud-Diensten hat Intel Partnerschaften mit Systemintegratoren geschlossen, um Server und Workstations auf Basis von Gaudi anzubieten. Die Prozessoren werden auch in Forschungsumgebungen eingesetzt, wobei Universitäten und KI-Labore Gaudi für die Modellentwicklung nutzen.
Rezeption und Kritik
Branchenanalysten betrachten Gaudi allgemein als glaubwürdige Alternative zu Nvidia, merken jedoch an, dass Software-Reife und Ökosystemunterstützung schwächer bleiben. Einige Kritiker haben darauf hingewiesen, dass Intels Benchmark-Behauptungen oft auf spezifischen Konfigurationen basieren, die möglicherweise nicht die reale Leistung widerspiegeln. Darüber hinaus hat das schnelle Tempo von Nvidias Produktveröffentlichungen (z. B. H100, H200 und die kommende Blackwell-Architektur) es Gaudi erschwert, einen Leistungsvorteil zu halten.
Intel hat darauf reagiert, indem es die Gesamtbetriebskosten (TCO) und Energieeffizienz betont und argumentiert, dass Gaudi für große Bereitstellungen einen besseren Wert bietet. Das Unternehmen hat sich auch zu einem regelmäßigen Veröffentlichungsrhythmus verpflichtet, wobei Gaudi 4 für 2025 erwartet wird.
Zukünftige Entwicklungen
Intel hat Pläne angekündigt, die Gaudi-Familie weiterzuentwickeln, wobei Gaudi 4 einen fortschrittlicheren Prozess verwenden und die Leistung weiter verbessern soll. Das Unternehmen arbeitet auch daran, Gaudi mit seinen Xeon-Prozessoren und dem einheitlichen Programmiermodell oneAPI zu integrieren, um heterogenes Rechnen zu vereinfachen. Bis 2025 zielt Intel darauf ab, einen größeren Anteil am KI-Beschleunigermarkt zu erobern, sowohl im Cloud- als auch im Unternehmenssegment.
Siehe auch
- KI-Beschleuniger
- Deep Learning
- Large Language Model
- Nvidia
- AMD
- AWS Trainium
Referenzen
- Intel Newsroom. „Intel Acquires Habana Labs to Expand AI Portfolio.“ 16. Dezember 2019.
- Habana Labs. „Gaudi Training Processor.“ 2019.
- Intel. „Intel Gaudi 2 AI Accelerator.“ 2022.
- Intel. „Intel Gaudi 3 AI Accelerator.“ 2024.
- Cloud-Anbieterdokumentation für Gaudi-Instanzen (AWS, IBM Cloud, Google Cloud).