Sprachverarbeitungseinheit

Groq, Inc. ist ein amerikanisches Unternehmen für künstliche Intelligenz (KI), das einen anwendungsspezifischen integrierten Schaltkreis ( (ASIC) für KI-Beschleuniger entwickelt. Die Architektur wurde ursprünglich als Tensor Streaming Processor ( (TSP) eingeführt, später jedoch als Language Processing Unit ( (LPU) umbenannt, nachdem große Sprachmodelle nach dem Durchbruch von ChatGPT weit verbreitet wurden. Das Unternehmen entwickelt auch zugehörige Computerhardware und Software, um die Inferenzleistung von KI zu beschleunigen. Beispiele für die Arten von KI-Workloads, die auf Groqs LPU laufen, sind: große Sprachmodelle ( (LLMs), Bildklassifizierung und prädiktive Analyse. Groq hat seinen Hauptsitz in Mountain View, Kalifornien, und unterhält Büros in San Jose, Kalifornien, Liberty Lake, Washington, Toronto, Kanada, London, Großbritannien, sowie Remote-Mitarbeiter in ganz Nordamerika und Europa.

Im Dezember 2025 gaben Nvidia und Groq eine Vereinbarung bekannt, die Berichten zufolge einen Wert von etwa 20 Milliarden US-Dollar hat, um Groqs KI-Inferenztechnologie zu lizenzieren und mehrere leitende Groq-Führungskräfte zu Nvidia zu versetzen. Groq erklärte, dass es weiterhin als unabhängiges Unternehmen operieren werde

Geschichte

Groq wurde 2016 von einer Gruppe ehemaliger Google-Ingenieure gegründet, angeführt von Jonathan Ross, einem der Designer der Tensor Processing Unit ( (TPU,, einem KI-Beschleuniger-ASIC,, und Douglas Wightman, einem Unternehmer und ehemaligen Ingenieur bei Google X ( (bekannt als X Development,, der als erster CEO des Unternehmens fungierte. Das Gründungsteam stützte sich auf Erfahrungen von DeepMind und anderen KI-Forschungsgruppen, mit dem Ziel, Hardware speziell für die Anforderungen von KI-Workloads zu entwickeln

Groq erhielt Startfinanzierung von Social Capitals Chamath Palihapitiya, mit einer Investition von 10 Millionen US-Dollar im Jahr 2017 und sicherte sich kurz darauf zusätzliche Finanzierung. Im April ​​2021 nahm Groq 300 Millionen US-Dollar in einer Serie-C-Runde auf, angeführt von Tiger Global Management und D1 Capital Partners. Zu den aktuellen Investoren gehören:: Infinitum,, The Spruce House Partnership,, Addition,, GCM Grosvenor,, Xⁿ,, Firebolt Ventures,, General Global Capital,, und Tru Arrow Partners,, sowie Folgeinvestitionen von Infinitum,, TDK Ventures,, und XTX Ventures.. Nach Groqs Serie-C-Finanzierungsrunde wurde es mit über 1 Milliarde US-Dollar bewertet, was das Startup zu einem Einhorn machte

Am 1. März ​​2022 übernahm Groq Maxeler Technologies, ein Unternehmen, das für seine Dataflow-Systemtechnologien bekannt ist. Es wurde entschieden, dass Maxeler seine Marke aufgrund der langjährigen Errungenschaften von Dr.. Oskar Mencer und seinem Team beibehalten würde, die in ihrem Fachgebiet Forschung veröffentlichten. Am 16. August​ ​2023 wählte Groq die Foundry von Samsung Electronics in Taylor, Texas, um seine Chips der nächsten Generation auf Samsungs 4-Nanometer-Prozessknoten ( (nm) herzustellen. Dies war die erste Bestellung bei dieser neuen Samsung-Chipfabrik

Am 19. Februar​ ​2024 startete Groq eine Soft-Launch einer Entwicklerplattform, GroqCloud™,, um Entwickler anzuziehen, die Groq-API zu nutzen und Zugang zu ihren Chips zu mieten. Am 1. März​ ​2024 übernahm Groq Definitive Intelligence, ein Startup, das für sein Angebot einer Reihe geschäftsorientierter KI-Lösungen bekannt ist, um bei seiner Cloud-Plattform zu helfen. Groq nahm 640 Millionen US-Dollar in einer Serie-D-Runde auf, angeführt von BlackRock Private Equity Partners im August​ ​2024, was das Unternehmen mit 2,8 Milliarden US-Dollar bewertete

Am 10. Februar​ ​2025 gab Groq bekannt, dass es eine Zusage über 1,5 Milliarden US-Dollar vom Königreich Saudi-Arabien gesichert hatte, um den Ausbau seiner LPU-basierten KI-Inferenzinfrastruktur zu erweitern, verbunden mit einem neuen GroqCloud-Rechenzentrum in Dammam,, Saudi-Arabien.. Stand 2025 hat Groq ein Dutzend Rechenzentren in den USA,, Kanada,, dem Nahen Osten,, und Europa etabliert, mit seiner Technologie

Im Dezember​ ​2025 stimmte Nvidia zu, Vermögenswerte von Groq für etwa 20 Milliarden US-Dollar zu kaufen, was ein Rekord für Nvidia ist. Groq hat dies als nicht-exklusiven Lizenzvertrag beschrieben. Im Rahmen des Deals würden Groq-Gründer Ross und Groq-Präsident Sunny Madra zu Nvidia stoßen. Im Mai​ ​2026 wurde berichtet, dass Groq 650 Millionen US-Dollar von bestehenden Investoren aufbringt, um seinen Übergang zu einem KI-Inferenz-Cloud-Geschäft zu finanzieren, wobei die Runde als Pro-rata-Angebot strukturiert ist, das von den Investoren Disruptive und Infinitum abgesichert wird

Language Processing Unit

Groqs ursprünglicher Name für ihren ASIC war der Tensor Streaming Processor ( (TSP,, Codename „Alan“, wurde aber später von Mark Heaps - VP of Brand,, und Jonathan Ross - CEO/Founder,, vom TSP zur Language Processing Unit ( (LPU) umbenannt, um die Natur des Prozessors offensichtlicher zu machen. Die LPU ist speziell für die Inferenzphase von großen Sprachmodellenund anderen KI-Modellen entwickelt, mit Fokus auf geringer Latenz und hohem Durchsatz

Die LPU verfügt über eine funktional geschnittene Mikroarchitektur, bei der Speichereinheiten mit Vektor-und Matrixberechnungseinheiten verschachtelt sind. Dieses Design erleichtert die Ausnutzung von Dataflow-Lokalität in KI-Berechnungsgraphen, was die Ausführungsleistung und Effizienz verbessert. Die LPU wurde auf der Grundlage zweier wichtiger Beobachtungen entworfen:: KI-Workloads weisen eine erhebliche Datenparallelität auf,, die auf zweckgebaute Hardware abgebildet werden kann,, was zu Leistungsgewinnen führt;; und ein deterministisches Prozessordesign,, gekoppelt mit einem Producer-Consumer-Programmiermodell,, ermöglicht präzise Kontrolle und Argumentation über Hardwarekomponenten,, was optimierte Leistungund Energieeffizienz ermöglicht

Zusätzlich zu ihrer funktional geschnittenen Mikroarchitektur kann die LPU auch durch ihre Single-Core-, deterministische Architektur charakterisiert werden. Die LPU kann deterministische Ausführung erreichen, indem sie die Verwendung traditioneller reaktiver Hardwarekomponenten ( (Branch-Prädiktoren,, Arbitern,, Reorder-Buffern,, Caches) vermeidet und indem alle Ausführungen explizit vom Compiler gesteuert werden, wodurch Determinismus in der Ausführung eines LPU-Programms garantiert wird. Dieser deterministische Ansatz steht im Gegensatz zur spekulativen Ausführung,, die in vielen CPU-Designs verwendet wird,, was Variabilität in der Leistung einführen kann

Die erste Generation der LPU ( (TSP) liefert eine Rechendichte von mehr als 1 TeraOp/s pro Quadratmillimeter Silizium für ihren 25×29 mm 14nm-Chip,, der mit einer Nenntaktfrequenz von 900 MHz arbeitet. Die zweite Generation der LPU ( (LPU v2) wird auf Samsungs 4nm-Prozessknoten hergestellt. Die Architektur der LPU ist besonders geeignet für Transformer-basierte Modelle,, die moderne generative KI-Anwendungen dominieren

Groq hostet Open-Source-große Sprachmodelle,, die auf seinen LPUs laufen, für den öffentlichen Zugang. Der Zugang zu diesen Demos ist über Groqs Website und seinen Playground für Entwickler verfügbar. Die Leistung der LPU wurde gegen Nvidia-GPUs benchmarkiert,, was signifikante Beschleunigungen bei der Token-Erzeugung für Modelle wie Llamaund Mistral zeigt,, obwohl eine unabhängige Verifizierung noch läuft

Architektur und Design

Die Designphilosophie der LPU konzentriert sich auf die Eliminierung des Overheads von Allzweckprozessoren. Durch die Verwendung eines einzelnen Kerns mit einem großen,, softwareverwalteten Speicher vermeidet die LPU die Notwendigkeit komplexer Cache-Hierarchien und Kohärenzprotokolle. Jede funktionale Scheibe umfasst ihren eigenen Speicherund Berechnungseinheiten,, wodurch Daten direkt zwischen ihnen fließen können,, ohne einen gemeinsamen Bus zu durchlaufen. Dies ist im Geiste ähnlich zu den Dataflow-Architekturen,, die von früheren Projekten wie Xerox PARCund MIT CSAIL erkundet wurden,, aber auf moderne KI-Workloads angewendet

Der Compiler spielt eine entscheidende Rolle im Betrieb der LPU. Er plant alle Anweisungenund Datenbewegungen im Voraus,, um sicherzustellen,, dass die Hardware nie auf Daten wartet. Diese statische Planung ist möglich,, weil KI-Inferenzgraphen typischerweise im Voraus bekannt sind,, im Gegensatz zu interaktiven Anwendungen. Das Ergebnis ist ein Prozessor,, der eine hohe Auslastungund vorhersagbare Leistung erzielt,, was für Echtzeit-KI-Dienste entscheidend ist

Die LPU unterstützt auch eine Reihe numerischer Präzisionen,, einschließlich FP32,, BF16,,und INT8,, wodurch Entwickler Genauigkeit gegen Geschwindigkeit abwägen können. Diese Flexibilität ist wichtig für die Bereitstellung von Modellen über verschiedene Hardwareeinschränkungen hinweg,, von Edge-Geräten bis zu Cloud-Rechenzentren

Software und Ökosystem

Groq bietet einen Software-Stack,, der einen Compiler,, Laufzeit,,und APIs für beliebte Frameworks wie PyTorchund TensorFlow umfasst. Die GroqWare-Suite umfasst Werkzeuge für Modelloptimierung,, Profiling,,und Bereitstellung. Das Unternehmen hat auch mit Hugging Face zusammengearbeitet,, um eine breite Palette von Open-Source-Modellen auf seiner Plattform anzubieten,, was es Entwicklern leicht macht,, mit LPU-Beschleunigung zu experimentieren

GroqCloud,, das 2024 gestartet wurde,, ermöglicht Benutzern,, LPU-Kapazität auf Abruf zu mieten,, ähnlich wie Cloud-Dienste von AWS,, Azure,,und Google Cloud. Die Plattform unterstützt sowohl interaktive Inferenzals auch Stapelverarbeitung,, mit einem Pay-as-you-go-Preismodell. Stand 2025 hostet GroqCloud über 100.000 Entwickler und hat Milliarden von Anfragen verarbeitet

Das Unternehmen unterhält auch eine Forschungsabteilung,, die mit akademischen Institutionen wie Stanford AI Labund Berkeley AI Research zusammenarbeitet,, um neue Architekturen für KI zu erkunden. Groqs Technologie wurde in Anwendungen von Schach-Engines bis zu autonomen Fahrzeugen eingesetzt,, obwohl der primäre Fokus auf LLM-Inferenz bleibt

Marktposition und Wettbewerb

Groq konkurriert mit anderen KI-Chip-Startups wie SambaNovaund Graphcore,, sowie etablierten Akteuren wie AMDund Intel. Das deterministische Design der LPU gibt ihr einen Vorteil bei latenzempfindlichen Anwendungen,, aber es fehlt ihr die Flexibilität von GPUs für Trainingsaufgaben. Groq hat sich als Spezialist für Inferenz positioniert,, einen Markt,, der mit der Verbreitung von KI-Anwendungen schnell wächst

Im Jahr​ ​2025 erreichte die Bewertung des Unternehmens 2,8 Milliarden US-Dollar nach seiner Serie-D-Runde,, und der Nvidia-Deal im Dezember​ ​2025 validierte seine Technologie weiter. Die Lizenzvereinbarung ermöglicht Nvidia,, Groqs Inferenztechnologie in seine eigenen Produkte zu integrieren,, was potenziell die Reichweite von LPU-basierten Lösungen erweitert

Zukünftige Richtungen

Mit Blick nach vorne plant Groq,, die LPU v2 zu veröffentlichen,, die auf Samsungs 4nm-Prozess hergestellt wird,, und von der erwartet wird,, dass sie signifikante Leistungsverbesserungen gegenüber der ersten Generation bietet. Das Unternehmen erkundet auch neue Speichertechnologien,, wie HBM,,, um die Bandbreite zu erhöhenund die Latenz weiter zu reduzieren

Groqs Übergang zu einem KI-Inferenz-Cloud-Geschäft,, wie durch die Finanzierungsrunde 2026 angedeutet,, deutet auf eine strategische Verschiebung vom Hardwareverkauf zur Dienstleistungserbringung hin. Dies steht im Einklang mit Branchentrends,, bei denen Rechenleistung zunehmend als Versorgungsgut geliefert wird,, ähnlich der Entwicklung des Cloud-Computings

Siehe auch

• Zentrale Verarbeitungseinheit
• Grafikprozessoreinheit
• Tensor-Verarbeitungseinheit
• KI-Beschleuniger

Referenzen

• Groq,, Inc.. offizielle Website
• Pressemitteilungen und Ankündigungen von Groq
• Branchenberichte über KI-Hardware

Externe Links

• Groq offizielle Website