Groq, Inc. ist ein amerikanisches Unternehmen für künstliche Intelligenz (KI), das einen anwendungsspezifischen integrierten Schaltkreis (ASIC) für KI-Beschleuniger entwickelt. Die Architektur wurde ursprünglich als Tensor Streaming Processor (TSP) eingeführt, später jedoch nach der weit verbreiteten Einführung großer Sprachmodelle nach dem Durchbruch von ChatGPT als Language Processing Unit (LPU) umbenannt. Das Unternehmen entwickelt auch zugehörige Computerhardware und -software, um die Inferenzleistung von KI zu beschleunigen. Beispiele für die Arten von KI-Workloads, die auf Groqs LPU laufen, sind: große Sprachmodelle (LLMs), Bildklassifikation und prädiktive Analyse. Groq hat seinen Hauptsitz in Mountain View, Kalifornien, und verfügt über Niederlassungen in San Jose, Kalifornien, Liberty Lake, Washington, Toronto, Kanada, London, Großbritannien, sowie Remote-Mitarbeiter in ganz Nordamerika und Europa.
Im Dezember 2025 gaben Nvidia und Groq eine Vereinbarung bekannt, die Berichten zufolge einen Wert von etwa 20 Milliarden US-Dollar hat, um Groqs KI-Inferenztechnologie zu lizenzieren und mehrere leitende Groq-Mitarbeiter zu Nvidia zu versetzen. Groq erklärte, dass es weiterhin als unabhängiges Unternehmen operieren werde.
Geschichte
Groq wurde 2016 von einer Gruppe ehemaliger Google-Ingenieure gegründet, angeführt von Jonathan Ross, einem der Designer des Tensor Processing Unit (TPU), einem KI-Beschleuniger-ASIC, und Douglas Wightman, einem Unternehmer und ehemaligen Ingenieur bei Google X (bekannt als X Development), der als erster CEO des Unternehmens fungierte. Das Gründungsteam stützte sich auf Erfahrungen von DeepMind und anderen KI-Forschungsgruppen, mit dem Ziel, Hardware speziell für die Anforderungen von KI-Workloads zu entwickeln.
Groq erhielt Startkapital von Social Capitals Chamath Palihapitiya, mit einer Investition von 10 Millionen US-Dollar im Jahr 2017 und sicherte sich kurz darauf zusätzliche Mittel. Im April 2021 sammelte Groq 300 Millionen US-Dollar in einer Serie-C-Runde unter der Leitung von Tiger Global Management und D1 Capital Partners. Zu den aktuellen Investoren gehören: Infinitum, The Spruce House Partnership, Addition, GCM Grosvenor, Xⁿ, Firebolt Ventures, General Global Capital und Tru Arrow Partners sowie Folgeinvestitionen von Infinitum, TDK Ventures und XTX Ventures. Nach Groqs Serie-C-Finanzierungsrunde wurde das Unternehmen mit über 1 Milliarde US-Dollar bewertet, was das Startup zu einem Einhorn machte.
Am 1. März 2022 übernahm Groq Maxeler Technologies, ein Unternehmen, das für seine Dataflow-Systemtechnologien bekannt ist. Es wurde entschieden, dass Maxeler seine Marke aufgrund der langjährigen Leistungen von Dr. Oskar Mencer und seinem Team, die in ihrem Fachgebiet Forschung veröffentlichen, beibehalten würde. Am 16. August 2023 wählte Groq die Foundry von Samsung Electronics in Taylor, Texas, um seine Chips der nächsten Generation auf dem 4-Nanometer-(nm)-Prozessknoten von Samsung herzustellen. Dies war die erste Bestellung in dieser neuen Samsung-Chipfabrik.
Am 19. Februar 2024 startete Groq eine Soft-Launch-Entwicklerplattform, GroqCloud™, um Entwickler anzuziehen, die Groq-API zu nutzen und Zugriff auf ihre Chips zu mieten. Am 1. März 2024 übernahm Groq Definitive Intelligence, ein Startup, das für sein Angebot an geschäftsorientierten KI-Lösungen bekannt ist, um seine Cloud-Plattform zu unterstützen. Groq sammelte im August 2024 640 Millionen US-Dollar in einer Serie-D-Runde unter der Leitung von BlackRock Private Equity Partners ein, was das Unternehmen mit 2,8 Milliarden US-Dollar bewertete.
Am 10. Februar 2025 gab Groq bekannt, dass es eine Zusage über 1,5 Milliarden US-Dollar vom Königreich Saudi-Arabien erhalten habe, um die Bereitstellung seiner LPU-basierten KI-Inferenzinfrastruktur zu erweitern, verbunden mit einem neuen GroqCloud-Rechenzentrum in Dammam, Saudi-Arabien. Bis 2025 hat Groq mit seiner Technologie ein Dutzend Rechenzentren in den USA, Kanada, dem Nahen Osten und Europa aufgebaut.
Im Dezember 2025 erklärte sich Nvidia bereit, Vermögenswerte von Groq für etwa 20 Milliarden US-Dollar zu kaufen, was einen Rekord für Nvidia darstellt. Groq hat dies als nicht-exklusiven Lizenzvertrag beschrieben. Im Rahmen des Deals sollten Groq-Gründer Ross und Groq-Präsident Sunny Madra zu Nvidia wechseln. Im Mai 2026 wurde berichtet, dass Groq 650 Millionen US-Dollar von bestehenden Investoren aufbringt, um seinen Übergang zu einem KI-Inferenz-Cloud-Geschäft zu finanzieren, wobei die Runde als Pro-rata-Angebot strukturiert ist, das von den Investoren Disruptive und Infinitum abgesichert wird.
Language Processing Unit
Groqs ursprünglicher Name für ihren ASIC war der Tensor Streaming Processor (TSP), Codename „Alan“, wurde jedoch später von Mark Heaps - VP of Brand, und Jonathan Ross - CEO/Gründer, vom TSP zur Language Processing Unit (LPU) umbenannt, um die Natur des Prozessors offensichtlicher zu machen. Die LPU ist speziell für die Inferenzphase von großen Sprachmodellen und anderen KI-Modellen entwickelt und konzentriert sich auf geringe Latenz und hohen Durchsatz.
Die LPU verfügt über eine funktional geschnittene Mikroarchitektur, bei der Speichereinheiten mit Vektor- und Matrixberechnungseinheiten verschachtelt sind. Dieses Design erleichtert die Nutzung von Dataflow-Lokalität in KI-Berechnungsgraphen und verbessert die Ausführungsleistung und -effizienz. Die LPU wurde auf der Grundlage von zwei wichtigen Beobachtungen entwickelt: KI-Workloads weisen eine erhebliche Datenparallelität auf, die auf speziell entwickelte Hardware abgebildet werden kann, was zu Leistungssteigerungen führt; und ein deterministisches Prozessordesign, gekoppelt mit einem Producer-Consumer-Programmiermodell, ermöglicht eine präzise Steuerung und Argumentation über Hardwarekomponenten, was eine optimierte Leistung und Energieeffizienz ermöglicht.
Zusätzlich zu ihrer funktional geschnittenen Mikroarchitektur kann die LPU auch durch ihre Single-Core-, deterministische Architektur charakterisiert werden. Die LPU kann eine deterministische Ausführung erreichen, indem sie die Verwendung traditioneller reaktiver Hardwarekomponenten (Branch-Prädiktoren, Arbiters, Reorder-Buffer, Caches) vermeidet und indem alle Ausführungen explizit vom Compiler gesteuert werden, wodurch die Determiniertheit der Ausführung eines LPU-Programms garantiert wird. Dieser deterministische Ansatz steht im Gegensatz zur spekulativen Ausführung, die in vielen CPU-Designs verwendet wird, die Variabilität in der Leistung einführen kann.
Die erste Generation der LPU (TSP) erreicht eine Rechendichte von mehr als 1 TeraOp/s pro Quadratmillimeter Silizium für ihren 25×29 mm großen 14-nm-Chip, der mit einer nominalen Taktfrequenz von 900 MHz arbeitet. Die zweite Generation der LPU (LPU v2) wird auf Samsungs 4-nm-Prozessknoten hergestellt. Die Architektur der LPU ist besonders für Transformer-basierte Modelle geeignet, die moderne generative KI-Anwendungen dominieren.
Groq hostet Open-Source-große Sprachmodelle, die auf seinen LPUs laufen, für den öffentlichen Zugang. Der Zugang zu diesen Demos ist über Groqs Website und seinen Playground für Entwickler verfügbar. Die Leistung der LPU wurde gegen Nvidia-GPUs benchmarkt und zeigt signifikante Beschleunigungen bei der Token-Generierung für Modelle wie Llama und Mistral, obwohl eine unabhängige Verifizierung noch aussteht.
Architektur und Design
Die Designphilosophie der LPU konzentriert sich auf die Eliminierung des Overheads von Allzweckprozessoren. Durch die Verwendung eines einzelnen Kerns mit einem großen, softwareverwalteten Speicher vermeidet die LPU die Notwendigkeit komplexer Cache-Hierarchien und Kohärenzprotokolle. Jede funktionale Scheibe enthält ihren eigenen Speicher und ihre eigenen Recheneinheiten, sodass Daten direkt zwischen ihnen fließen können, ohne einen gemeinsamen Bus zu passieren. Dies ähnelt im Geiste den Dataflow-Architekturen, die von früheren Projekten wie Xerox PARC und MIT CSAIL untersucht wurden, jedoch auf moderne KI-Workloads angewendet.
Der Compiler spielt eine entscheidende Rolle im Betrieb der LPU. Er plant alle Anweisungen und Datenbewegungen im Voraus und stellt sicher, dass die Hardware niemals auf Daten warten muss. Diese statische Planung ist möglich, weil KI-Inferenzgraphen in der Regel im Voraus bekannt sind, im Gegensatz zu interaktiven Anwendungen. Das Ergebnis ist ein Prozessor, der eine hohe Auslastung und vorhersehbare Leistung erreicht, was für Echtzeit-KI-Dienste entscheidend ist.
Die LPU unterstützt auch eine Reihe von numerischen Präzisionen, einschließlich FP32, BF16 und INT8, sodass Entwickler Genauigkeit gegen Geschwindigkeit abwägen können. Diese Flexibilität ist wichtig für die Bereitstellung von Modellen unter verschiedenen Hardwarebeschränkungen, von Edge-Geräten bis zu Cloud-Rechenzentren.
Software und Ökosystem
Groq bietet einen Software-Stack, der einen Compiler, eine Laufzeitumgebung und APIs für beliebte Frameworks wie PyTorch und TensorFlow umfasst. Die GroqWare-Suite enthält Tools für Modelloptimierung, Profiling und Bereitstellung. Das Unternehmen hat auch mit Hugging Face zusammengearbeitet, um eine breite Palette von Open-Source-Modellen auf seiner Plattform anzubieten, was es Entwicklern erleichtert, mit LPU-Beschleunigung zu experimentieren.
GroqCloud, das 2024 gestartet wurde, ermöglicht Benutzern, LPU-Kapazität auf Abruf zu mieten, ähnlich wie Cloud-Dienste von AWS, Azure und Google Cloud. Die Plattform unterstützt sowohl interaktive Inferenz als auch Stapelverarbeitung mit einem Pay-as-you-go-Preismodell. Bis 2025 hostet GroqCloud über 100.000 Entwickler und hat Milliarden von Anfragen verarbeitet.
Das Unternehmen unterhält auch eine Forschungsabteilung, die mit akademischen Institutionen wie Stanford AI Lab und Berkeley AI Research zusammenarbeitet, um neue Architekturen für KI zu erforschen. Groqs Technologie wurde in Anwendungen eingesetzt, die von Schach-Engines bis zu autonomen Fahrzeugen reichen, obwohl der primäre Fokus auf LLM-Inferenz bleibt.
Marktposition und Wettbewerb
Groq konkurriert mit anderen KI-Chip-Startups wie SambaNova und Graphcore sowie etablierten Playern wie AMD und Intel. Das deterministische Design der LPU verschafft ihr einen Vorteil bei latenzempfindlichen Anwendungen, aber es fehlt ihr an der Flexibilität von GPUs für Trainingsaufgaben. Groq hat sich als Spezialist für Inferenz positioniert, einen Markt, der mit der Verbreitung von KI-Anwendungen schnell wächst.
Im Jahr 2025 erreichte die Bewertung des Unternehmens nach seiner Serie-D-Runde 2,8 Milliarden US-Dollar, und der Nvidia-Deal im Dezember 2025 validierte seine Technologie weiter. Die Lizenzvereinbarung ermöglicht es Nvidia, Groqs Inferenztechnologie in seine eigenen Produkte zu integrieren, was die Reichweite von LPU-basierten Lösungen potenziell erweitert.
Zukünftige Richtungen
In Zukunft plant Groq, die LPU v2 zu veröffentlichen, die auf Samsungs 4-nm-Prozess hergestellt wird und voraussichtlich erhebliche Leistungsverbesserungen gegenüber der ersten Generation bieten wird. Das Unternehmen erforscht auch neue Speichertechnologien wie HBM, um die Bandbreite zu erhöhen und die Latenz weiter zu reduzieren.
Groqs Übergang zu einem KI-Inferenz-Cloud-Geschäft, wie durch die Finanzierungsrunde 2026 angedeutet, deutet auf eine strategische Verschiebung vom Hardwareverkauf zur Dienstleistungserbringung hin. Dies entspricht Branchentrends, bei denen Rechenleistung zunehmend als Versorgungsgut geliefert wird, ähnlich der Entwicklung des Cloud-Computing.
Siehe auch
- Zentraleinheit
- Grafikprozessor
- Tensor Processing Unit
- KI-Beschleuniger
Referenzen
- Offizielle Website von Groq, Inc.
- Pressemitteilungen und Ankündigungen von Groq
- Branchenberichte über KI-Hardware