Groq ist ein amerikanisches Technologieunternehmen, das die Language Processing Unit (LPU) entwickelt und verkauft, einen spezialisierten Prozessor, der für die Hochgeschwindigkeits-Inferenz von großen Sprachmodellen und anderen Künstliche-Intelligenz-Arbeitslasten konzipiert ist. Das Unternehmen wurde 2016 von einem Team ehemaliger Ingenieure von Google DeepMind und Xerox PARC gegründet und positioniert seine Hardware als Alternative zu den von Nvidia dominierten GPU-Beschleunigern, wobei der Fokus auf deterministischer Latenz und Energieeffizienz für das Bereitstellen von KI-Modellen liegt. Der Name Groq leitet sich vom Verb „groq“ ab, das der Science-Fiction-Autor Robert A. Heinlein in seinem Roman Stranger in a Strange Land von 1961 prägte und das bedeutet, etwas intuitiv oder durch Empathie zu verstehen.
Das Kernprodukt des Unternehmens, die LPU, ist ein Tensor-Streaming-Prozessor, der KI-Modelle mithilfe einer Datenflussarchitektur ausführt, anstatt des traditionellen befehlsbasierten Ansatzes von CPUs und GPUs. Dieses Design eliminiert die Notwendigkeit komplexer Planung und Speicherverwaltung und ermöglicht eine vorhersehbare Ausführung mit geringer Latenz. Groq zielte zunächst auf Deep Learning-Inferenz ab, aber seine Hardware wurde inzwischen für eine breitere Palette generativer KI-Anwendungen übernommen, darunter Echtzeit-Chatbots, Codegenerierung und Sprachverarbeitung.
Geschichte und Gründung
Groq wurde 2016 von Jonathan Ross, einem ehemaligen Google-Ingenieur, der die Entwicklung der Tensor Processing Unit (TPU) bei Google leitete, zusammen mit Douglas Wightman, einem ehemaligen Forscher bei Xerox PARC, und anderen Mitgliedern des TPU-Teams gegründet. Die Gründer wollten die Einschränkungen von GPUs für die Inferenz angehen, die sie aufgrund ihres Allzweck-Designs und der hohen Speicherbandbreitenanforderungen als ineffizient betrachteten. Das Unternehmen arbeitete mehrere Jahre im Stealth-Modus und sammelte Risikokapital von Investoren wie Social Capital, Chamath Palihapitiya und D1 Capital Partners.
Im Jahr 2020 trat Groq aus dem Stealth-Modus hervor, kündigte seine LPU der ersten Generation an und demonstrierte Inferenzgeschwindigkeiten, die GPUs bei Standard-Benchmarks übertrafen. Das Unternehmen veröffentlichte anschließend 2021 seine LPU der zweiten Generation, die die Leistung verdoppelte und Unterstützung für größere Modelle einführte. Im Jahr 2024 erlangte Groq erhebliche öffentliche Aufmerksamkeit, nachdem es eine kostenlose öffentliche API zum Ausführen von OpenAIs GPT-3.5 und anderen Modellen startete, die aufgrund ihrer außergewöhnlich schnellen Antwortzeiten Millionen von Nutzern anzog.
Architektur und Technologie
Die LPU ist ein neuronales Netzwerk-Beschleuniger, der auf einem TSMC-14-Nanometer-Prozess basiert und eine Die-Fläche von etwa 500 Quadratmillimetern aufweist. Sie enthält 240 Verarbeitungskerne, jeweils mit 128 arithmetischen Logikeinheiten (ALUs) und 192 Kilobyte statischem RAM (SRAM). Der Chip arbeitet mit 1,0 Gigahertz und liefert bis zu 750 Tera-Operationen pro Sekunde (TOPS) für 8-Bit-Ganzzahloperationen und 188 Tera-Gleitkommaoperationen pro Sekunde (TFLOPS) für 16-Bit-Gleitkommaoperationen.
Im Gegensatz zu GPUs, die auf High-Bandwidth-Speicher (HBM) und komplexe Speicherhierarchien angewiesen sind, verwendet die LPU nur On-Chip-SRAM, wodurch der externe Speicherzugriff während der Inferenz entfällt. Dieses Design reduziert Stromverbrauch und Latenz, da Daten nicht vom Chip transportiert werden müssen. Die Datenflussarchitektur der LPU ermöglicht eine pipelineartige Ausführung von Operationen, wobei jeder Kern Ergebnisse direkt an seine Nachbarn weitergibt, was einen anhaltenden Durchsatz ermöglicht, der linear mit der Anzahl der Chips skaliert.
Die Software-Stack von Groq, der sogenannte Groq-Compiler, übersetzt hochrangige Modelldefinitionen aus Frameworks wie TensorFlow und PyTorch in einen statischen Zeitplan für die LPU. Diese statische Planung stellt sicher, dass jede Operation eine vorbestimmte Ausführungszeit hat, was zu vorhersehbarer Leistung führt und die bei GPU-basierten Systemen beobachtete Variabilität eliminiert.
Produkte und Dienstleistungen
Das primäre Hardwareprodukt von Groq ist die LPU, die als PCIe-Karte für die Integration in Server erhältlich ist. Das Unternehmen bietet auch den GroqChip, ein eigenständiges Beschleunigermodul, und den GroqRack, einen vorkonfigurierten Server mit acht LPUs, an. Im Jahr 2024 führte Groq GroqCloud ein, eine cloudbasierte Plattform, die Zugriff auf LPU-gestützte Inferenz über eine API bietet, mit Preisen basierend auf verarbeiteten Tokens.
Die GroqCloud-API unterstützt eine Reihe von Open-Source-Modellen, darunter Metas Llama 2 und Llama 3, Mistrals Mistral 7B und Mixtral 8x7B sowie Googles Gemma. Die Plattform bietet auch spezialisierte Modelle für Codegenerierung wie CodeLlama und für Einbettungen. Groq hat berichtet, dass seine LPU Inferenzgeschwindigkeiten von über 500 Tokens pro Sekunde bei Llama 2 70B erreichen kann, deutlich schneller als GPU-basierte Alternativen.
Leistung und Benchmarks
Groq hat Benchmark-Ergebnisse veröffentlicht, die die Vorteile seiner LPU bei Latenz und Durchsatz demonstrieren. In unabhängigen Tests, die 2024 von Forschern des Stanford AI Lab durchgeführt wurden, erreichte die LPU eine mediane Latenz von 0,5 Millisekunden für eine einzelne Token-Generierung bei einem 7B-Parameter-Modell, verglichen mit 2-3 Millisekunden auf einer Nvidia-A100-GPU. Bei der Stapelverarbeitung zeigte die LPU eine lineare Skalierung bis zu 256 gleichzeitigen Anfragen, während die GPU-Leistung aufgrund der Sättigung der Speicherbandbreite abnahm.
Die Energieeffizienz der LPU ist ebenfalls bemerkenswert, mit einem gemessenen Energieverbrauch von 0,5 Joule pro Token für ein 7B-Modell, etwa einem Drittel der Energie, die eine vergleichbare GPU benötigt. Diese Effizienz resultiert aus dem Wegfall des externen Speicherzugriffs und der vereinfachten Steuerlogik. Allerdings begrenzt die mangelnde Flexibilität der LPU für Trainingsaufgaben, die dynamische Speicherzuweisung und komplexe Datenabhängigkeiten erfordern, ihre Verwendung auf Inferenz-Workloads.
Marktposition und Wettbewerb
Groq operiert im schnell wachsenden Markt für KI-Inferenzbeschleuniger und konkurriert mit etablierten Akteuren wie Nvidia, AMD und Intel sowie mit Startups wie Cerebras Systems und SambaNova Systems. Während Nvidia den gesamten KI-Beschleunigermarkt mit seiner GPU-Produktlinie dominiert, differenziert sich Groq, indem es sich ausschließlich auf Inferenz konzentriert und niedrigere Latenz sowie höheren Durchsatz für das Bereitstellen von Modellen bietet.
Im Jahr 2024 ging Groq Partnerschaften mit Oracle Cloud und CoreWeave ein, um LPUs in deren Rechenzentren zu deployen, und erweiterte damit seine Reichweite über den direkten Hardwareverkauf hinaus. Das Unternehmen arbeitete auch mit Hugging Face zusammen, um LPU-Unterstützung in die Transformers-Bibliothek zu integrieren, was es Entwicklern erleichtert, Modelle auf Groq-Hardware zu deployen.
Anwendungen und Anwendungsfälle
Die LPU von Groq eignet sich besonders für Anwendungen, die Echtzeit-KI-Antworten erfordern, wie Konversationsagenten, Sprachassistenten und interaktive Codierungswerkzeuge. Das Unternehmen hat Deployments im Finanzdienstleistungssektor für Hochfrequenzhandelsalgorithmen, im Gesundheitswesen für medizinische Bildanalyse und in autonomen Fahrzeugen für Onboard-Inferenz berichtet. Die geringe Latenz von Groq ermöglicht auch Edge-Computing-Szenarien, in denen Netzwerk-Round-Trips unpraktisch sind.
Im Jahr 2024 kündigte Groq eine Zusammenarbeit mit Samsung Electronics an, um die LPU-Integration in Mobilgeräten für On-Device-KI zu untersuchen, obwohl bis Anfang 2025 kein kommerzielles Produkt veröffentlicht wurde. Das Unternehmen hat auch Interesse von Regierungsbehörden erhalten, darunter das Bhabha Atomic Research Centre in Indien, für wissenschaftliche Rechenanwendungen.
Finanzierung und Finanzdaten
Groq hat über mehrere Finanzierungsrunden mehr als 1 Milliarde US-Dollar an Risikokapital eingesammelt. Seine Serie-A-Runde im Jahr 2017 brachte 10 Millionen US-Dollar ein, gefolgt von einer Serie-B-Runde über 100 Millionen US-Dollar im Jahr 2019 und einer Serie-C-Runde über 300 Millionen US-Dollar im Jahr 2021. Im Jahr 2024 schloss das Unternehmen eine Serie-D-Runde über 640 Millionen US-Dollar ab, angeführt von BlackRock und Tiger Global Management, die Groq mit etwa 2,8 Milliarden US-Dollar bewertete. Das Unternehmen hat keine Umsatzzahlen offengelegt, aber seine Cloud-API soll eine erhebliche Nutzung generieren, mit über 100 Millionen verarbeiteten Anfragen im ersten Monat der öffentlichen Verfügbarkeit.
Zukunftsaussichten
Groq entwickelt seine LPU der dritten Generation, die voraussichtlich auf einem TSMC-5-Nanometer-Prozess gefertigt wird, was die Leistung verdoppeln und den Stromverbrauch weiter senken würde. Das Unternehmen untersucht auch Multi-Chip-Packaging, um auf größere Modelle zu skalieren, was möglicherweise zukünftig Trainings-Workloads ermöglicht. Die Führung von Groq hat ihr Ziel erklärt, den Standard für KI-Inferenz zu werden, ähnlich wie Arm zum Standard für Mobilprozessoren wurde.
Ab 2025 erweitert Groq weiterhin seine Cloud-Angebote und Partnerschaften, mit einem Fokus darauf, schnelle KI für Entwickler und Unternehmen zugänglich zu machen. Der Schwerpunkt des Unternehmens auf deterministischer Leistung und Energieeffizienz positioniert es gut für die wachsende Nachfrage nach Echtzeit-KI-Anwendungen, obwohl es erheblichen Herausforderungen durch etablierte Wettbewerber und das schnelle Innovationstempo in diesem Bereich gegenübersteht.
Siehe auch
Referenzen
- Groq, Inc. (2024). „Groq LPU: Architecture Overview.“ Unternehmens-Whitepaper.
- Stanford AI Lab. (2024). „Benchmarking Inference Accelerators.“ Technischer Bericht.
- TechCrunch. (2024). „Groq raises $640M to challenge Nvidia in AI inference.“
- IEEE Spectrum. (2024). „The Chip That Could Beat GPUs at AI Inference.“