Deci AI ist ein israelisches Technologieunternehmen, das sich auf die Beschleunigung von Deep Learning spezialisiert hat. Das Unternehmen wurde 2019 gegründet und entwickelt Softwaretools, die Modelle der künstlichen Intelligenz optimieren, um eine effiziente Bereitstellung auf verschiedenen Hardware-Plattformen zu ermöglichen, einschließlich Edge-Geräten und Cloud-Servern. Die Kerntechnologie von Deci AI zielt darauf ab, die Rechenkosten neuronaler Netze zu senken, während ihre Genauigkeit erhalten oder verbessert wird, wodurch ein zentraler Engpass bei der praktischen Einführung von KI-Systemen adressiert wird.
Das Unternehmen entstand aus Forschung zu automatisierter neuronaler Architektursuche und Modellkompression und positioniert sich damit im breiteren Feld des Machine Learning Operations. Die Produkte von Deci AI richten sich an Organisationen, die große Sprachmodelle, Computer-Vision-Systeme und andere KI-Workloads bereitstellen, und bieten Lösungen an, die eine verbesserte Inferenzgeschwindigkeitund reduzierte Infrastrukturkosten beanspruchen. Ab 2024 hat das Unternehmen erhebliches Risikokapital eingeworbenund Partnerschaften mit großen Cloud-Anbieternund Halbleiterunternehmen geschlossen.
Gründung und Finanzierung
Deci AI wurde 2019 von Yonatan Geifman, Ran El-Yaniv und Jonathan Elster gegründet. Geifman, der als Chief Executive Officer fungierte, arbeitete zuvor an KI-Forschung bei Intel. El-Yaniv, ein Professor am Technion - Israel Institute of Technology, brachte akademische Expertise in Machine Learning und neuronaler Netzoptimierung ein. Das Unternehmen hat seinen Hauptsitz in Tel Aviv, Israel.
Das Startup sammelte 2020 eine erste Seed-Runde von 9,25 Millionen US-Dollar ein, angeführt von Emergeund mit Beteiligung von Square Peg Capitalund anderen Investoren. 2021 sicherte sich Deci AI eine Series-A-Finanzierungsrunde über 21 Millionen US-Dollar, wodurch sich die Gesamtfinanzierung auf etwa 30 Millionen US-Dollar belief. Die Series A wurde von Insight Partners angeführt, mit fortgesetzter Unterstützung bestehender Geldgeber. 2023 schloss das Unternehmen eine Series-B-Runde über 25 Millionen US-Dollar ab, angeführt von AME Cloud Ventures, wodurch sich die kumulative Finanzierung auf über 55 Millionen US-Dollar erhöhte. Diese Zahlen spiegeln das wachsende Investoreninteresse an KI-Infrastrukturund Modelloptimierungstechnologien wider.
Kerntechnologie: AutoNAS und Infery
Die grundlegende Technologie von Deci AI ist AutoNAS (Automated Neural Architecture Search), ein proprietäres System, das automatisch effiziente neuronale Netzarchitekturen entwirft. AutoNAS verwendet Reinforcement Learningund andere Optimierungstechniken, um den Raum möglicher Netzdesigns zu erkunden, wobei Genauigkeit gegen Rechenkosten abgewogen wird. Das System kann maßgeschneiderte Architekturen generieren, die auf spezifische Hardware-Ziele zugeschnitten sind, wie ARM-Prozessoren, Intel-Chipsoder NVIDIA-GPUs, obwohl NVIDIA nicht explizit unter den öffentlichen Partnern des Unternehmens aufgeführt ist.
Das primäre kommerzielle Produkt, das auf AutoNAS aufbaut, ist Infery, eine Inferenz-Laufzeitumgebungund ein Optimierungsmodul. Infery umfasst ein Modelloptimierungs-Toolkit, das Techniken wie Pruning, Quantisierungund Wissensdestillation anwendet, um Modellgrößeund Latenz zu reduzieren. Die Laufzeitumgebung unterstützt die Bereitstellung über mehrere Frameworks, einschließlich TensorFlowund PyTorch,und integriert sich mit containerisierten Umgebungen wie Dockerund Kubernetes. Infery beansprucht, eine bis zu 10-fache Inferenzbeschleunigung auf Edge-Gerätenund eine bis zu 4-fache auf Cloud-Servern zu liefern, obwohl diese Zahlen vom spezifischen Modellund der Hardware abhängen.
Produktangebote und Anwendungsfälle
Die Produktpalette von Deci AI geht über Infery hinaus und umfasst DeciLint, ein Modellanalysetool, das Ineffizienzen in neuronalen Netzgrafiken identifiziert, sowie DeciGrad, ein gradientenbasiertes Optimierungsmodul, das Modelle für Zielhardware feinabstimmt. Diese Tools sind für Data-Science-und Machine-Learning-Teams konzipiert, die Modelle in Produktionsumgebungen mit strengen Latenz-und Kostenbeschränkungen bereitstellen müssen.
Zu den wichtigsten Anwendungsfällen gehören Computer-Vision-Anwendungen wie Objekterkennungund Bildsegmentierung, Aufgaben der natürlichen Sprachverarbeitung wie Textklassifikationund Fragebeantwortung, und in jüngerer Zeit Large-Language-Model-Inferenz. Beispielsweise hat Deci AI demonstriert, dass ein Transformer-Modell mit 175 Milliarden Parametern auf einem einzelnen Serverknoten ausgeführt werden kann, indem aggressive Kompressionstechniken angewendet werden, obwohl solche Behauptungen auf internen Benchmarks basierenund nicht unabhängig verifiziert wurden. Das Unternehmen bietet auch Deci Cloud an, eine verwaltete Plattform, die es Kunden ermöglicht, optimierte Modelle zu testenund zu benchmarken, ohne eine eigene Infrastruktur aufzubauen.
Partnerschaften und Ökosystem
Deci AI hat Partnerschaften mit mehreren großen Technologieunternehmen geschlossen, um seine Reichweite zu erweitern. 2022 gab das Unternehmen eine Zusammenarbeit mit Qualcomm bekannt, um KI-Modelle für Qualcomms Snapdragon-Mobilplattformen zu optimieren, mit dem Ziel der On-Device-Inferenz für Smartphonesund IoT-Geräte. Diese Partnerschaft zielte darauf ab, Echtzeit-KI-Funktionen wie Bildverbesserungund Spracherkennung mit geringerem Stromverbrauch zu ermöglichen.
Im Cloud-Bereich hat Deci AI mit Amazon Web Servicesund Google Cloud zusammengearbeitet, um seine Optimierungstools als Teil ihrer KI-Marktplätze anzubieten. Das Unternehmen ging 2023 auch eine Partnerschaft mit AMD ein, um AMDs Instinct-Beschleuniger zu unterstützenund optimierte Modellbibliotheken für Rechenzentrumsworkloads bereitzustellen. Darüber hinaus hat Deci AI mit Samsung Electronics für Edge-KI-Anwendungen in der Unterhaltungselektronik zusammengearbeitet, obwohl spezifische Produktdetails nicht offengelegt wurden.
Diese Partnerschaften sind für Deci AI strategisch, da sie Zugang zu hardware-spezifischen Optimierungenund Vertriebskanälen bieten. Durch die Ausrichtung an Chip-Herstellerund Cloud-Anbieter kann das Unternehmen sicherstellen, dass seine Software effizient über die vielfältige Landschaft von KI-Beschleunigern funktioniert, von AWS Trainium bis zu Groqund SambaNova-Systemen.
Wettbewerbsumfeld
Deci AI operiert in einem wettbewerbsintensiven Markt, der sowohl etablierte Akteure als auch Startups umfasst. Zu den direkten Wettbewerbern gehören Graphcore, das spezialisierte KI-Prozessoren entwickelt, sowie Groq, das sich auf ultraschnelle Inferenzhardware konzentriert. Auf der Softwareseite bieten Unternehmen wie SambaNovaund Neural Magic Optimierungslösungen an, obwohl Neural Magic nicht in der bereitgestellten Linkliste enthalten ist. Darüber hinaus bieten große Cloud-Anbieter eigene Optimierungsdienste an, wie Amazon SageMakerund Azure Machine Learning, die mit den Angeboten von Deci AI konkurrieren können.
Deci AI differenziert sich durch seine AutoNAS-Technologie, die den Architektursuchprozess automatisiert, anstatt sich ausschließlich auf Post-hoc-Kompression zu verlassen. Dieser Ansatz kann Modelle hervorbringen, die von Anfang an inhärent effizienter sind, anstatt bestehende Architekturen zu verkleinern. Das Unternehmen betont auch hardware-bewusste Optimierung, indem es Modelle auf spezifische Chips zuschneidet, was ein wachsender Trend in der Branche ist, da KI-Workloads in vielfältige Edge-und Rechenzentrumsumgebungen verlagert werden.
Forschung und Open-Source-Beiträge
Deci AI unterhält ein aktives Forschungsteam, das akademische Arbeiten veröffentlichtund zur breiteren KI-Gemeinschaft beiträgt. Zu den bemerkenswerten Veröffentlichungen gehören Arbeiten zu quantisierungsbewusstem Trainingund effizienten Transformer-Architekturen, die auf Konferenzen wie NeurIPSund ICML präsentiert wurden. Das Unternehmen hat auch Open-Source-Tools veröffentlicht, darunter eine Bibliothek für Modellkompression, die von externen Entwicklern genutzt wurde.
2023 führte Deci AI eine Technik namens „Super-Resolution für neuronale Netze“ ein, die generative Modelle verwendet, um hochgenaue Netzwerke aus komprimierten Versionen zu rekonstruieren. Diese Forschung hat potenzielle Anwendungen in generativer KIund könnte die Effizienz von Transformer-Modellen verbessern. Diese Beiträge sind jedoch Teil eines sich schnell entwickelnden Feldes, und ihre langfristigen Auswirkungen bleiben abzuwarten.
Herausforderungen und zukünftige Richtungen
Wie viele KI-Infrastrukturunternehmen steht Deci AI vor Herausforderungen, die mit dem schnellen Tempo der Hardware-und Modellentwicklung zusammenhängen. Neue Beschleunigerarchitekturen, wie die TPUs von Google DeepMindund die kundenspezifischen Chips von Tesla, erfordern eine kontinuierliche Anpassung der Optimierungstools. Darüber hinaus stellt der Aufstieg von Foundation-Modellen mit Milliarden von Parametern Skalierungsherausforderungen dar, die die Anwendbarkeit traditioneller Kompressionstechniken einschränken könnten.
Mit Blick nach vorne zielt Deci AI darauf ab, seine Unterstützung für generative KI-Workloads zu erweitern, einschließlich Textgenerierungund multimodaler Modelle. Das Unternehmen erkundet auch die Integration mit Microsoft Azureund Oracle Cloud, um seine Cloud-Reichweite zu verbreitern. Ab 2024 hat Deci AI keine Pläne für einen Börsengang offengelegt, aber seine Finanzierungstrajektorie deutet auf weiteres Wachstum im KI-Optimierungsmarkt hin.
Fazit
Deci AI hat sich als bemerkenswerter Akteur im Bereich der Deep-Learning-Beschleunigung etabliert, indem es Softwaretools anbietet, die die Effizienz von KI-Modellen über Hardware-Plattformen hinweg verbessern. Mit seiner AutoNAS-Technologieund der Infery-Laufzeitumgebung adressiert das Unternehmen kritische Bedürfnisse von Organisationen, die KI in großem Maßstab bereitstellen. Obwohl der Wettbewerb intensiv ist, bietet der Fokus von Deci AI auf automatisierte Architektursucheund hardware-bewusste Optimierung ein deutliches Wertversprechen. Der zukünftige Erfolg des Unternehmens wird davon abhängen, ob es mit den sich entwickelnden KI-Modellenund der Hardware Schritt halten kann, sowie von seiner Fähigkeit, technische Innovationen in kommerzielle Adoption umzuwandeln.