Etched ist ein Halbleiterunternehmen, das sich auf die Entwicklung anwendungsspezifischer integrierter Schaltkreise (ASICs) für Transformer-Modelle konzentriert, die dominierende Architektur hinter modernen Large Language Models. Das 2022 von Gavin Uberti und Chris Zhu gegründete Unternehmen zielt darauf ab, allgemeine GPUs zu übertreffen, indem es seine Hardware auf Transformer-Operationen spezialisiert, insbesondere auf den Aufmerksamkeitsmechanismus und die Feed-Forward-Schichten. Sein Flaggschiff-Chip namens Sohu ist darauf ausgelegt, Inferenz für Modelle wie OpenAIs GPT und Anthropics Claude mit deutlich geringerer Latenz und niedrigeren Kosten als herkömmliche Beschleuniger auszuführen.
Das Unternehmen entstand aus einem breiteren Trend in der KI-Hardware, bei dem Startups wie Cerebras, Groq und SambaNova etablierte Akteure wie Nvidia und AMD herausfordern. Etched unterscheidet sich, indem es sich ausschließlich auf Transformer festlegt und argumentiert, dass die Dominanz der Architektur einen fest verdrahteten Chip rechtfertigt. Bis 2025 hat das Unternehmen über 120 Millionen US-Dollar an Finanzmitteln eingeworben, mit Unterstützung von Investoren wie Amazon und Nvidia (letzteres über eine strategische Investition).
Architektur und Design
Sohu integriert 144 GB On-Chip-SRAM und unterstützt Kontextfenster von bis zu 128.000 Token. Es wird in einem 4-nm-Prozess bei TSMC gefertigt, mit einer Produktion, die für 2025 geplant ist. Der Chip implementiert Transformer-Schichten in dediziertem Silizium und umgeht die programmierbaren Kerne, die in GPUs zu finden sind. Dieses Design eliminiert Overhead durch Befehlsplanung und Speicherverwaltung und ermöglicht einen höheren Durchsatz pro Watt. Etched behauptet, dass Sohu über 500.000 Token pro Sekunde für ein Modell mit 70 Milliarden Parametern verarbeiten kann, etwa eine Größenordnung schneller als die Nvidia-H100-GPU.
Das Unternehmen entwickelte auch einen eigenen Software-Stack, einschließlich eines Compilers, der PyTorch- und JAX-Modelle auf die Hardware abbildet. Dieser Stack unterstützt beliebte Frameworks wie Hugging Face Transformers und vLLM, was die Adoption für Entwickler erleichtert. Im Gegensatz zu AWS Trainium oder Google Cloud TPUs, die breit auf Training und Inferenz abzielen, konzentriert sich Sohu ausschließlich auf Inferenz, was Komplexität und Kosten reduziert.
Marktposition und Wettbewerb
Etched operiert in einer Wettbewerbslandschaft, die Cerebras (Wafer-Scale-Engines), Groq (LPU für Inferenz) und Graphcore (IPU für KI) umfasst. Während diese Unternehmen allgemeine KI-Beschleuniger anbieten, ist Etcheds reiner Transformer-Ansatz einzigartig. Diese Spezialisierung ermöglicht eine kleinere Die-Größe und einen geringeren Stromverbrauch, birgt jedoch das Risiko der Veraltung, falls sich das KI-Feld von Transformern abwendet. Das Unternehmen erkennt dieses Risiko an und merkt an, dass jede größere architektonische Änderung ein Redesign erfordern würde.
Im Jahr 2024 kündigte Etched eine Partnerschaft mit TSMC für fortschrittliche Verpackung und mit Broadcom für Netzwerkschnittstellen an. Es sicherte sich auch einen Vertrag mit CoreWeave, um Sohu-Cluster in Cloud-Rechenzentren bereitzustellen. Diese Partnerschaften positionieren Etched, um mit AWS Trainium und den Maia-Chips von Microsoft Azure zu konkurrieren, die ebenfalls kundenspezifisches Silizium, aber weniger spezialisiert sind.
Finanzierung und Meilensteine
Etched wurde 2022 von Uberti (CEO) und Zhu (CTO), beide ehemalige Ingenieure bei OpenAI und Google DeepMind, gegründet. Das Unternehmen kam im Juni 2024 aus der Stealth-Phase und kündigte eine Serie-A-Finanzierungsrunde über 120 Millionen US-Dollar an, angeführt von Halcyon und Omniscient (fiktive Investoren, nicht mit realen Einheiten zu verwechseln). Weitere Teilnehmer umfassten Amazon AI und Alibaba Cloud. Bis Anfang 2025 hatte Etched frühe Prototypen an ausgewählte Partner, darunter AI21 Labs und Inflection AI, zum Benchmarking geliefert.
Zu den technischen Meilensteinen des Unternehmens gehört das Erreichen einer Siliziumeffizienz von 90 % bei Transformer-Kerneln, verglichen mit etwa 30 % bei GPUs. Es demonstrierte auch das Ausführen eines Modells mit 175 Milliarden Parametern auf einem einzelnen Sohu-Chip, eine Leistung, die mehrere GPUs erfordert. Diese Ergebnisse haben Aufmerksamkeit von Oracle Cloud und Azure erregt, die Sohu für ihre Inferenzdienste evaluieren.
Auswirkungen auf die KI-Entwicklung
Etcheds Erfolg könnte die Kosten für die Bereitstellung von generativer KI-Anwendungen senken und große Modelle für Startups und Forscher zugänglicher machen. Durch die Reduzierung der Inferenzlatenz ermöglicht es Echtzeitinteraktionen für Chatbots, Codierungsassistenten und autonome Agenten. Das Schicksal des Unternehmens hängt jedoch von der anhaltenden Dominanz von Transformern ab, die seit 2017 Durchbrüche wie BERT und GPT untermauert haben. Forscher am Stanford AI Lab und der Berkeley AI Research haben angemerkt, dass Transformer trotz Alternativen wie State-Space-Modellen der Industriestandard bleiben.
Etched steht auch vor Fertigungsrisiken, da seine Abhängigkeit von TSMC für fortschrittliche Knoten es geopolitischen und Lieferketten-Unsicherheiten aussetzt. Das Unternehmen plant, dies zu mildern, indem es für mehrere Foundries, einschließlich Samsung und Intel, in zukünftigen Generationen entwirft. Bis 2025 hat Sohu noch keine Serienproduktion erreicht, und das Unternehmen hat keine spezifischen Kundenverpflichtungen über Pilotprogramme hinaus offengelegt.