Graphcore Limited ist ein britisches Halbleiterunternehmen, das Beschleuniger für Arbeitslasten der künstlichen Intelligenz und des maschinellen Lernens entwirft. Das Unternehmen ist vor allem für seine Intelligence Processing Unit (IPU) bekannt, einen massiv parallelen Prozessor, der das gesamte Modell des maschinellen Lernens im Chip selbst hält, im Gegensatz zu herkömmlichen Grafikprozessoren (GPUs), die auf externen Speicher angewiesen sind. Die Technologie von Graphcore zielt sowohl auf das Training als auch auf die Inferenz neuronaler Netze ab und strebt eine Alternative zu GPU-basierten Systemen für die KI-Berechnung an.
Graphcore wurde 2016 gegründet und wuchs durch mehrere Finanzierungsrunden schnell, erreichte bis Dezember 2018 eine Bewertung von 1,7 Milliarden US-Dollar. Die Produkte des Unternehmens, einschließlich der Prozessoren Colossus GC2 und GC200, wurden in Cloud- und Unternehmensumgebungen eingesetzt. Im Juli 2024 erklärte sich die SoftBank Group bereit, Graphcore für etwa 500 Millionen US-Dollar zu übernehmen, ein Geschäft, das im Vereinigten Königreich einer regulatorischen Prüfung unterlag.
Geschichte
Graphcore wurde 2016 von Simon Knowles und Nigel Toon gegründet, beide Veteranen der Halbleiterindustrie. Knowles hatte zuvor Icera mitgegründet, ein Unternehmen für Basisbandprozessoren, das von NVIDIA übernommen wurde, während Toon mehrere Chip-Startups geleitet hatte. Das Unternehmen machte es sich zur Aufgabe, Prozessoren speziell für maschinelle Intelligenz zu entwerfen, eine Nische, die damals von GPUs dominiert wurde.
Im Herbst 2016 sicherte sich Graphcore seine erste große Finanzierungsrunde, angeführt von Robert Bosch Venture Capital. Weitere Investoren waren Samsung, Amadeus Capital Partners, C4 Ventures, Draper Esprit, Foundation Capital und Pitango. Diese frühe Unterstützung ermöglichte es dem Unternehmen, mit der Entwicklung seiner IPU-Architektur und seines Software-Stacks zu beginnen.
Eine Serie-B-Runde folgte im Juli 2017, angeführt von Atomico, mit zusätzlicher Finanzierung von Sequoia Capital einige Monate später. Bis Dezember 2018 schloss Graphcore eine Serie-D-Runde über 200 Millionen US-Dollar bei einer Bewertung von 1,7 Milliarden US-Dollar ab, was es zu einem „Einhorn“ machte (ein privates Unternehmen mit einer Bewertung von über 1 Milliarde US-Dollar). Zu den Investoren dieser Runde gehörten Microsoft, Samsung und Dell Technologies.
Im November 2019 gab Graphcore bekannt, dass seine C2-IPU-Karten für eine Vorschau auf Microsoft Azure verfügbar seien, was eine bedeutende Cloud-Bereitstellung markierte. Das Unternehmen erweiterte weiterhin seine Produktlinie und Partnerschaften, sah sich jedoch auch Herausforderungen in einem wettbewerbsintensiven Markt gegenüber, der von NVIDIA dominiert wird.
Anfang 2023 übernahm Meta Platforms das KI-Netzwerktechnologie-Team von Graphcore, ein Schritt, der als strategische Veräußerung angesehen wurde. Die finanziellen Bedingungen wurden nicht bekannt gegeben, aber es ermöglichte Graphcore, sich auf sein Kerngeschäft mit Prozessoren zu konzentrieren.
Im Juli 2024 erklärte sich die SoftBank Group bereit, Graphcore für rund 500 Millionen US-Dollar zu übernehmen. Das Geschäft wurde von der Investitionssicherheitseinheit des britischen Wirtschaftsministeriums geprüft, was Bedenken hinsichtlich der nationalen Sicherheit im Halbleitersektor widerspiegelt. Es wurde erwartet, dass die Übernahme Graphcore zusätzliche Ressourcen zur Fortsetzung seiner Entwicklungsbemühungen bietet.
Produkte und Technologie
Die Hauptproduktlinie von Graphcore basiert auf der Intelligence Processing Unit (IPU), einem Prozessor, der von Grund auf für KI-Arbeitslasten entwickelt wurde. Die IPU-Architektur unterscheidet sich erheblich von GPUs: Sie verwendet eine massiv parallele Anordnung von Kernen, jeder mit eigenem lokalem Speicher, und das gesamte Modell des maschinellen Lernens wird auf dem Chip gespeichert. Dieses Design reduziert den Bedarf an Datenbewegungen zwischen Speicher und Prozessor, was ein großer Engpass in traditionellen Architekturen ist.
Der erste IPU-Chip, genannt Colossus GC2, wurde im Juli 2017 angekündigt. Es war ein massiv paralleler Mixed-Precision-Gleitkommaprozessor mit 16 nm, der 2018 verfügbar wurde. Der GC2 wurde mit zwei Chips auf einer einzigen PCI-Express-Karte verpackt, bekannt als Graphcore C2 IPU. Diese Karte wurde entwickelt, um die gleiche Rolle wie eine GPU in Verbindung mit Standard-Frameworks für maschinelles Lernen wie TensorFlow zu übernehmen. Das Gerät stützte sich für seine Leistung auf Scratchpad-Speicher anstelle traditioneller Cache-Hierarchien.
Im Juli 2020 führte Graphcore seinen Prozessor der zweiten Generation ein, den GC200, der mit dem 7-nm-FinFET-Fertigungsprozess von TSMC hergestellt wird. Der GC200 ist ein integrierter Schaltkreis mit 59 Milliarden Transistoren und 823 Quadratmillimetern mit 1.472 Rechenkernen und 900 MByte lokalem Speicher. Im Jahr 2022 stellten Graphcore und TSMC die Bow IPU vor, ein 3D-Paket, das einen GC200-Die Face-to-Face mit einem Stromversorgungs-Die verbindet, was höhere Taktraten bei niedrigeren Kernspannungen ermöglicht.
Sowohl die GC2- als auch die GC200-Chips verwenden 6 Threads pro Tile, insgesamt 7.296 bzw. 8.832 Threads. Sie verwenden MIMD-Parallelität (Multiple Instruction, Multiple Data) und haben verteilten, lokalen Speicher als einzige Form von Speicher auf dem Gerät, abgesehen von Registern. Der ältere GC2-Chip hat 256 KiB pro Tile, während der neuere GC200 etwa 630 KiB pro Tile hat, angeordnet in Inseln von 4 Tiles, die dann in Spalten angeordnet werden. Die Latenz ist innerhalb eines Tiles am besten.
Die IPU unterstützt IEEE FP16 mit stochastischem Runden sowie einfache Genauigkeit FP32 mit geringerer Leistung. Code und Daten, die lokal ausgeführt werden, müssen in ein Tile passen, aber mit Message-Passing kann der gesamte On-Chip- oder Off-Chip-Speicher genutzt werden. Software für KI macht dies transparent möglich, zum Beispiel durch PyTorch-Unterstützung.
Software-Stack
Im Jahr 2016 kündigte Graphcore die weltweit erste Graph-Toolchain an, die für maschinelle Intelligenz entwickelt wurde, genannt Poplar Software Stack. Poplar ist ein vollständiges Software-Entwicklungskit, das einen Graph-Compiler, eine Laufzeitumgebung und Bibliotheken zum Erstellen und Bereitstellen von KI-Modellen umfasst. Es abstrahiert die Komplexität der IPU-Hardware und ermöglicht Entwicklern, hochrangigen Code in Frameworks wie TensorFlow und PyTorch zu schreiben.
Poplars graphbasierter Ansatz eignet sich gut für die IPU-Architektur, die selbst ein Graph von Verarbeitungs-Tiles ist. Der Compiler bildet den Berechnungsgraphen eines neuronalen Netzes auf die Tiles der IPU ab und optimiert Speichernutzung und Kommunikation. Die Laufzeitumgebung verwaltet die Ausführung des Graphen auf der Hardware, einschließlich Planung und Datenbewegung.
Der Software-Stack umfasst auch PopART, eine Bibliothek für Inferenz, und PopNN, eine Bibliothek zum Erstellen neuronaler Netze. Diese Tools sind so konzipiert, dass sie mit bestehenden KI-Frameworks interoperabel sind, was es Entwicklern erleichtert, IPU-Technologie zu übernehmen.
Marktposition und Wettbewerb
Graphcore ist im hochkompetitiven Bereich der KI-Beschleuniger tätig, in dem NVIDIA historisch mit seinen GPUs dominiert. Weitere Wettbewerber sind AMD mit seiner Instinct-Linie, Intel mit seinen Gaudi-Prozessoren und Startups wie Groq und SambaNova. Die IPU von Graphcore differenziert sich durch den Fokus auf In-Memory-Computing und eine massiv parallele Architektur, die für bestimmte Arten von Modellen Vorteile bieten kann, insbesondere für solche mit großen Speicher-Fußabdrücken.
Das Unternehmen hat sowohl Cloud- als auch Edge-Märkte anvisiert. Seine Prozessoren wurden in Rechenzentren durch Partnerschaften mit Cloud-Anbietern wie Microsoft Azure und Oracle Cloud eingesetzt. Graphcore hat auch mit Forschungseinrichtungen und Unternehmen zusammengearbeitet, um KI-Arbeitslasten in Bereichen wie natürlicher Sprachverarbeitung, Computer Vision und wissenschaftlichem Rechnen zu beschleunigen.
Trotz seiner technologischen Innovationen stand Graphcore vor Herausforderungen bei der Skalierung seines Geschäfts. Der Markt für KI-Beschleuniger ist kapitalintensiv, und das Unternehmen hatte Schwierigkeiten, mit dem Ökosystem und der Software-Reife von NVIDIA zu konkurrieren. Die Übernahme durch SoftBank wird als Weg gesehen, finanzielle Stabilität und Zugang zu breiteren Ressourcen zu bieten.
Zukünftige Richtungen
Graphcore hat seine Ambition erklärt, eine „Good machine“ zu bauen, benannt nach I.J. Good, einem britischen Mathematiker, der mit Alan Turing arbeitete. Das Ziel ist es, KI-Modelle mit mehr Parametern zu ermöglichen, als das menschliche Gehirn Synapsen hat, was erhebliche Fortschritte in Hardware und Software erfordern würde. Das Unternehmen entwickelt seine IPU-Architektur weiter, mit Plänen für zukünftige Generationen, die noch höhere Leistung und Effizienz bieten könnten.
Es wird erwartet, dass die Übernahme durch SoftBank diese Bemühungen beschleunigt. SoftBank hat eine Geschichte der Investitionen in KI- und Halbleiterunternehmen, einschließlich Arm Holdings, und könnte Graphcore das Kapital bieten, um seine Fertigung und globale Reichweite zu erweitern. Die regulatorische Genehmigung des Geschäfts steht noch aus, aber wenn es abgeschlossen wird, könnte es ein neues Kapitel für den britischen Chip-Designer markieren.