TensorRT

TensorRT ist ein Software Development Kit (SDK) und eine Inferenz-Optimierungs-Laufzeitumgebung, die von Nvidia entwickelt wurde, um trainierte Deep-Learning- und Machine-Learning-Modelle auf Grafikprozessoren (GPUs) bereitzustellen. Es kann Modelle aus Frameworks wie PyTorch, TensorFlow und ONNX importieren und sie in optimierte Laufzeit-Engines für Inferenz mit geringer Latenz und hohem Durchsatz kompilieren. In der aktuellen Nvidia-Dokumentation bezieht sich der Name TensorRT auch auf eine breitere Produktfamilie, die das Kern-SDK TensorRT, TensorRT-LLM und TensorRT-RTX umfasst.

Das Kern-SDK ist in erster Linie ein proprietäres Nvidia-Produkt, obwohl Nvidia auch Apache-lizenzierte Open-Source-TensorRT-Repositories und verwandte Begleitprojekte pflegt. TensorRT wird in Produktionsumgebungen häufig für KI-Inferenzaufgaben eingesetzt, von Computer Vision bis hin zu großen Sprachmodellen, und ist eine Schlüsselkomponente im Deep-Learning-Software-Stack von Nvidia.

Geschichte

TensorRT war bis 2017 als Teil des Deep-Learning-Software-Stacks von Nvidia verfügbar, als es als Hochleistungs-Inferenz-Engine für die Bereitstellung trainierter neuronaler Netze auf Nvidia-GPUs beschrieben wurde. 2018 kündigte Google die Integration von Nvidia TensorRT mit TensorFlow 1.7 an und beschrieb TensorRT als eine Bibliothek, die Deep-Learning-Modelle für die Inferenz optimiert und eine Laufzeitumgebung für die Bereitstellung auf GPUs in Produktionsumgebungen erstellt. Diese Integration war ein früher Schritt, um TensorRT zu einem Standardwerkzeug für maschinelles Lernen-Inferenz auf Nvidia-Hardware zu machen.

Überblick

Der Kern von TensorRT ist eine C++-Bibliothek, die ein trainiertes Netzwerk, bestehend aus einer Netzwerkdefinition und trainierten Parametern, aufnimmt und eine hochoptimierte Laufzeit-Engine für die Inferenz auf Nvidia-GPUs erzeugt. TensorRT bietet sowohl C++- als auch Python-APIs, und Modelle können entweder direkt über seine Netzwerkdefinitions-API ausgedrückt oder über seinen ONNX-Parser importiert werden. Diese Flexibilität ermöglicht es Entwicklern, mit Modellen aus verschiedenen Deep-Learning-Frameworks zu arbeiten.

Laut Nvidia-Dokumentation führt TensorRT Optimierungen auf Graphebene und Kernel-Ebene durch, wie etwa Layer-Fusion und die Auswahl effizienter Implementierungen für unterstützte Operationen. Diese Optimierungen reduzieren die Latenz und erhöhen den Durchsatz, was TensorRT für Echtzeitanwendungen geeignet macht. Die aktuelle Dokumentation beschreibt auch die Unterstützung für dynamische Formen, gemischt-präzise Ausführungsmodi einschließlich FP32, FP16, BF16, FP8 und INT8 sowie spezialisierte Optimierungen für Transformer- und Large-Language-Model-Workloads. Dies umfasst Techniken wie Modell-Pruning und Quantisierung, um die Leistung weiter zu verbessern.

TensorRT-Engines können über die TensorRT-APIs oder mit dem trtexec-Befehlszeilentool erzeugt werden. Nvidias Schnellstart-Dokumentation beschreibt Bereitstellungsworkflows, die auf ONNX-Konvertierung, Laufzeit-APIs und direkter Engine-Deserialisierung für C++- und Python-Anwendungen basieren. Diese Workflows ermöglichen eine nahtlose Integration in Produktionssysteme, oft in Verbindung mit Cloud-Diensten wie Amazon Web Services oder Google Cloud.

Lizenzierung und Open-Source-Komponenten

Das Lizenzmodell rund um TensorRT ist zwischen einem proprietären Kern-SDK und einer Reihe von Open-Source-Repositories und Tools aufgeteilt. Die von Nvidia vertriebene paketierte TensorRT-Software unterliegt der Nvidia Software License Agreement. Gleichzeitig pflegt Nvidia ein öffentliches TensorRT-Repository auf GitHub unter der Apache License 2.0, was Community-Beiträge und Transparenz für bestimmte Komponenten ermöglicht.

Die offizielle TensorRT-Dokumentation verweist Benutzer auch auf das TensorRT-Open-Source-Software-Repository für Schnellstart-Code und Beispiele. Die Architekturdokumentation beschreibt verwandte Werkzeuge wie Polygraphy zum Debugging und zur Konstantenfaltung sowie ONNX-GraphSurgeon zum Modifizieren von ONNX-Graphen vor der Bereitstellung mit TensorRT. TensorRT unterstützt auch einen Plugin-Mechanismus für benutzerdefinierte Layer und nicht unterstützte Operationen, der es Entwicklern ermöglicht, seine Funktionalität für spezielle Anforderungen zu erweitern.

Produktfamilie

Nvidias aktuelle Dokumentation gruppiert mehrere Inferenzprodukte unter dem Namen TensorRT. In dieser Dokumentation wird das Kern-SDK als TensorRT (Enterprise) unterschieden, während verwandte Angebote TensorRT-LLM für Large-Language-Model-Inferenz und TensorRT-RTX für Consumer-RTX-GPUs umfassen. Dieser Familienansatz spiegelt die wachsende Vielfalt an KI-Workloads und Hardware-Zielen wider.

TensorRT-LLM

TensorRT-LLM ist ein verwandtes Open-Source-Toolkit zur Optimierung und Bereitstellung großer Sprachmodelle auf Nvidia-GPUs. Nvidia beschreibt es als Bereitstellung einer Python-API zur Definition von LLMs und zum Erstellen von TensorRT-Engines, die für LLM-Workloads optimiert sind. Dieses Toolkit ist darauf ausgelegt, die besonderen Herausforderungen von generativen KI-Modellen zu bewältigen, die eine hohe Speicherbandbreite und effiziente Aufmerksamkeitsmechanismen erfordern.

Laut Nvidias Produktfamilien-Dokumentation unterstützt TensorRT-LLM Multi-GPU- und Multi-Node-Ausführung, In-Flight-Batching, Paged-KV-Caching und Quantisierungsmethoden wie FP8, INT8 und INT4 für einen höheren Durchsatz beim Modell-Serving. Diese Funktionen ermöglichen eine effiziente Bereitstellung von Modellen wie denen von OpenAI oder Anthropic in der Produktion. Der TensorRT-LLM-Codebase ist auf GitHub unter der Apache License 2.0 veröffentlicht, was eine Gemeinschaft von Entwicklern fördert.

Da Nvidia TensorRT-LLM als separates Mitglied der TensorRT-Produktfamilie dokumentiert, wird es typischerweise als verwandtes, aber eigenständiges Softwareprojekt behandelt und nicht als einzelnes Feature des Basis-TensorRT-SDKs. Diese Unterscheidung ermöglicht eine fokussierte Entwicklung und Optimierung für große Sprachmodelle, die andere Leistungsmerkmale aufweisen als traditionelle neuronale Netze.

Siehe auch

• llama.cpp
• SGLang
• vLLM
• Listen von Open-Source-KI-Software
• Vergleich von Deep-Learning-Software
• Vergleich von Machine-Learning-Software