Graphcore Limited ist ein britisches Halbleiterunternehmen, das Beschleuniger für KI und maschinelles Lernen entwickelt. Sein Flaggschiffprodukt, die Intelligence Processing Unit (IPU), ist ein massiv paralleler Prozessor, der darauf ausgelegt ist, das gesamte Maschinenlernmodell im Chip zu halten, wodurch der Bedarf an ständigem Datentransfer zwischen Speicher und Recheneinheit reduziert wird. Das Unternehmen wurde 2016 gegründet und wurde zu einem bedeutenden Akteur im Bereich der KI-Hardware, bevor es 2024 von der SoftBank Group übernommen wurde.
Die IPU-Architektur unterscheidet sich von herkömmlichen GPUs durch die Verwendung einer großen Anzahl kleiner Verarbeitungskerne, sogenannter Tiles, die jeweils über einen eigenen lokalen Speicher verfügen. Dieses Design ermöglicht einen Hochbandbreiten-Zugriff mit geringer Latenz auf Modellparameter und Aktivierungen, was besonders für Deep-Learning-Workloads wie das Training und die Inferenz von Large-Language-Modellen geeignet ist. Graphcore entwickelte außerdem den Poplar-Software-Stack, um gängige Maschinenlern-Frameworks wie TensorFlow und PyTorch zu unterstützen.
Geschichte
Graphcore wurde 2016 von Simon Knowles und Nigel Toon gegründet, beide Veteranen der Halbleiterindustrie. Das Unternehmen zog schnell Wagniskapital an, mit einer ersten Finanzierungsrunde unter der Leitung von Robert Bosch Venture Capital im Herbst 2016 und zusätzlicher Unterstützung von Samsung, Amadeus Capital Partners, C4 Ventures, Draper Esprit, Foundation Capital und Pitango. Im Juli 2017 folgte auf eine Series-B-Runde unter der Leitung von Atomico eine Investition von 50 Millionen US-Dollar von Sequoia Capital. Bis Dezember 2018 schloss Graphcore eine Series-D-Runde über 200 Millionen US-Dollar bei einer Bewertung von 1,7 Milliarden US-Dollar ab, was das Unternehmen zu einem Einhorn machte, mit Investoren wie Microsoft, Samsung und Dell Technologies.
Im November 2019 kündigte Graphcore an, dass seine C2-IPU-Karten für eine Vorschau auf Microsoft Azure verfügbar seien, was eine bedeutende Cloud-Bereitstellung darstellte. Anfang 2023 erwarb Meta Platforms das KI-Netzwerktechnologie-Team von Graphcore, obwohl das Unternehmen seine Kernaktivitäten fortsetzte. Im Juli 2024 erklärte sich die SoftBank Group bereit, Graphcore für rund 500 Millionen US-Dollar zu übernehmen, ein Geschäft, das von der Investitionssicherheitseinheit des britischen Wirtschaftsministeriums geprüft wurde.
Produkte und Technologie
Graphcores erste Produktankündigung kam 2016 mit dem Poplar Software Stack, beschrieben als die weltweit erste Graph-Toolchain für maschinelle Intelligenz. Im Juli 2017 stellte das Unternehmen seinen ersten Chip vor, den Colossus GC2, einen massiv parallelen Mixed-Precision-Gleitkommaprozessor in 16 nm, der 2018 verfügbar wurde. Der GC2 wurde als zwei Chips auf einer einzigen PCI-Express-Karte verpackt, der sogenannten Graphcore C2-IPU, die dazu entwickelt wurde, die gleiche Rolle wie eine GPU in Verbindung mit Standard-Maschinenlern-Frameworks zu übernehmen. Das Gerät verlässt sich für die Leistung auf Scratchpad-Speicher anstelle herkömmlicher Cache-Hierarchien.
Im Juli 2020 führte Graphcore seinen Prozessor der zweiten Generation ein, den GC200, der auf dem TSMC-7nm-FinFET-Prozess basiert. Der GC200 ist ein integrierter Schaltkreis mit 59 Milliarden Transistoren und 823 Quadratmillimetern, mit 1.472 Rechenkernen und 900 MByte lokalem Speicher. Im Jahr 2022 präsentierten Graphcore und TSMC die Bow-IPU, ein 3D-Paket eines GC200-Dies, das Gesicht-zu-Gesicht mit einem Stromversorgungs-Die verbunden ist, was höhere Taktraten bei niedrigerer Kernspannung ermöglicht. Das Unternehmen skizzierte auch ein langfristiges Ziel namens „Good machine", benannt nach I.J. Good, das KI-Modelle mit mehr Parametern unterstützen würde, als das menschliche Gehirn Synapsen hat.
Architekturdetails
Sowohl die GC2- als auch die GC200-Chips unterstützen 6 Threads pro Tile, was insgesamt 7.296 bzw. 8.832 Threads ergibt. Die Architektur verwendet MIMD-Parallelität (Multiple Instruction, Multiple Data), wobei verteilter, lokaler Speicher die einzige Form von Speicher auf dem Gerät ist (außer Registern). Der ältere GC2-Chip verfügt über 256 KiB pro Tile, während der neuere GC200 etwa 630 KiB pro Tile hat, die in Inseln aus 4 Tiles angeordnet sind, die wiederum in Spalten angeordnet sind; die Latenz ist innerhalb eines Tiles am geringsten. Die IPU unterstützt IEEE FP16 mit stochastischem Runden und Einzelgenauigkeit-FP32 bei geringerer Leistung. Code und Daten, die lokal ausgeführt werden, müssen in ein Tile passen, aber Message-Passing ermöglicht die Nutzung des gesamten On-Chip- oder Off-Chip-Speichers, und Software für KI macht dies transparent, einschließlich PyTorch-Unterstützung.
Marktposition und Auswirkungen
Graphcore positionierte sich als Herausforderer von Nvidia im KI-Beschleunigermarkt, mit Fokus auf eine einzigartige Architektur, die sich sowohl von GPUs als auch von anderen KI-Chips wie denen von Cerebras oder Groq unterscheidet. Seine IPU zielte besonders auf Training und Inferenz für neuronale Netze ab, mit frühen Anwendern wie Microsoft Azure und verschiedenen Forschungseinrichtungen. Die Übernahme durch SoftBank im Jahr 2024 wurde als strategischer Schritt gesehen, um SoftBanks KI-Ambitionen zu stärken, obwohl das Geschäft in Großbritannien einer regulatorischen Prüfung unterzogen wurde. Graphcores Technologie wird weiterhin in Cloud- und Unternehmensumgebungen eingesetzt, und sein Software-Stack bleibt ein aktives Entwicklungsgebiet.
Siehe auch
- KI-Beschleuniger
- Massiv paralleles Prozessorarray