vLLM ist ein Open-Source-Software-Framework für die Inferenz und das Serving großer Sprachmodelle sowie verwandter multimodaler Modelle. Ursprünglich am Sky Computing Lab der University of California, Berkeley entwickelt, konzentriert sich das Projekt auf PagedAttention, eine Methode zur Speicherverwaltung für Key-Value-Caches von Transformatoren, und unterstützt Funktionen wie kontinuierliches Batching, verteilte Inferenz, Quantisierung und OpenAI-kompatible APIs.
Geschichte
vLLM wurde 2023 von Forschern des Sky Computing Lab an der UC Berkeley vorgestellt. Die Kernideen wurden in dem Paper „Efficient Memory Management for Large Language Model Serving with PagedAttention" aus dem Jahr 2023 beschrieben, das das System als eine hochdurchsatz- und speichereffiziente Serving-Engine für große Sprachmodelle präsentierte. Laut einem Projekt-Maintainer bezog sich das „v" in vLLM ursprünglich auf „virtual", inspiriert von virtuellem Speicher.
Die Projektseite von PyTorch gibt an, dass die University of California, Berkeley vLLM im Juli 2024 an die Linux Foundation beigetragen hat. Im Jahr 2025 kündigte die PyTorch Foundation an, dass vLLM ein von der Foundation gehostetes Projekt geworden sei. Im Januar 2026 berichtete TechCrunch, dass die Entwickler von vLLM das Startup Inferact gegründet hatten, um das Projekt zu kommerzialisieren, und dabei 150 Millionen US-Dollar an Seed-Finanzierung einsammelten.
Architektur
Laut dem Paper von 2023 wurde vLLM entwickelt, um die Effizienz des Servings großer Sprachmodelle zu verbessern, indem Speicherverschwendung im Key-Value-Cache reduziert wird, der während der Transformer-Inferenz verwendet wird. Das Paper führte PagedAttention ein, einen Algorithmus, der von virtuellem Speicher und Paging-Techniken in Betriebssystemen inspiriert ist, und beschrieb vLLM als eine Engine, die blockbasierte Speicherverwaltung und Request-Scheduling nutzt, um den Durchsatz zu erhöhen und gleichzeitig eine ähnliche Latenz beizubehalten.
Die Projektdokumentation und das Repository beschreiben Unterstützung für kontinuierliches Batching, Chunked Prefill, spekulative Dekodierung, Prefix-Caching, Quantisierung und mehrere Formen verteilter Inferenz. PyTorch hat vLLM als eine hochdurchsatz- und speichereffiziente Inferenz- und Serving-Engine beschrieben, die eine Reihe von Hardware-Backends unterstützt, darunter NVIDIA- und AMD-GPUs, Google-TPUs, AWS Trainium und Intel-Prozessoren.
Leistung und Anwendungsfälle
vLLM wird sowohl im akademischen als auch im industriellen Umfeld häufig eingesetzt, um große Sprachmodelle in großem Maßstab zu bedienen. Der hohe Durchsatz macht es für Anwendungen wie Chatbots, Codegenerierung und Echtzeit-KI-Assistenten geeignet. Das Framework integriert sich in gängige Modellbibliotheken und kann auf Cloud-Plattformen wie Amazon Web Services, Google Cloud und Azure bereitgestellt werden.
Community und Governance
Nachdem vLLM an die Linux Foundation übergeben wurde, wurde es ein Projekt unter der PyTorch Foundation, die Governance und Unterstützung für Open-Source-KI-Infrastruktur bietet. Das Projekt hat eine aktive Community von Mitwirkenden aus Wissenschaft und Industrie, und seine Entwicklung wird von Maintainern aus Organisationen wie Berkeley AI Research und Stanford AI Lab geleitet.
Siehe auch
- Ollama
- SGLang
- TensorRT-LLM
- llama.cpp
- OpenVINO
- Open Neural Network Exchange
- Vergleich von Deep-Learning-Software
- Vergleich von Machine-Learning-Software
- Liste von an Universitäten entwickelter Software
- Listen von Open-Source-KI-Software
- Liste großer Sprachmodelle
- TurboQuant
- Globale Speicherknappheit ab 2025