TensorRT-LLM 是一个开源软件库，由 Nvidia 开发，用于在 Nvidia 图形处理器（GPU）上优化和部署大型语言模型。它是更广泛的 TensorRT 产品家族的一部分，该家族还包括核心 TensorRT SDK 和 TensorRT-RTX。TensorRT-LLM 提供 Python API，允许开发者定义大型语言模型并将其编译为高度优化的 TensorRT 引擎，这些引擎专为在 Nvidia 硬件上实现低延迟和高吞吐量推理而设计。
TensorRT-LLM 构建于核心 TensorRT SDK 之上，后者执行图级和内核级优化，例如层融合和高效内核选择。通过将这些能力扩展到大型语言模型，TensorRT-LLM 解决了基于 Transformer 架构的独特计算需求，而 Transformer 架构是许多现代 生成式 AI 应用的基础。
主要特性
TensorRT-LLM 支持一系列高级功能以最大化推理性能。这些功能包括多 GPU 和多节点执行，允许模型在单个服务器内的多个 GPU 上或跨集群进行扩展。动态批处理（In-flight batching）能够对推理请求进行动态批处理，从而提高 GPU 利用率和吞吐量。分页 KV 缓存（Paged KV caching）通过高效管理 Transformer 注意力机制中使用的键值缓存来减少内存开销。此外，TensorRT-LLM 支持多种量化方法，包括 FP8、INT8 和 INT4，这些方法可以减少模型大小并加速兼容硬件上的推理。
与深度学习生态系统的集成
TensorRT-LLM 与流行的机器学习框架和工具集成。它可以通过其 ONNX 解析器从 PyTorch 和 TensorFlow 等框架导入模型，使开发者能够利用现有的模型工件。该库还提供了用于自定义层的插件机制，支持原生未包含的操作。这一集成是 Nvidia 提供全面软件栈策略的一部分，旨在支持 人工智能 部署，并补充了 CUDA 和 cuDNN 等其他 Nvidia 工具。
性能优化
TensorRT-LLM 的主要目标之一是为大型语言模型提供最先进的推理性能。通过将模型编译为优化引擎，TensorRT-LLM 相比在原始框架中运行模型，能够降低延迟并提高吞吐量。该库包含内核自动调优和图优化等特性，这些特性专门针对 Transformer 模型的计算模式进行了定制。因此，TensorRT-LLM 被广泛用于对低延迟响应有严格要求的生产环境中，例如实时聊天助手和代码生成服务。
使用场景与采用
TensorRT-LLM 被开发者和组织用于在各种应用中部署大型语言模型，包括自然语言理解、文本生成和代码补全。它在云环境中尤其受欢迎，因为可以在其中使用 Nvidia GPU 进行大规模模型服务。该库的开源性质培育了一个贡献者社区，他们不断改进其性能并增加对新模型架构的支持。TensorRT-LLM 也是 Nvidia 企业产品（如 Nvidia AI Enterprise）中的关键组件，后者提供了一个受支持的人工智能部署平台。
结论
TensorRT-LLM 代表了在 Nvidia 硬件上优化大型语言模型推理方面的重大进步。通过提供高级 Python API 并利用 TensorRT 的强大功能，它使开发者能够以最小的努力实现卓越的性能。随着对高效 AI 推理的需求持续增长，TensorRT-LLM 很可能仍将是 AI 基础设施栈中的关键工具。