vLLM ist ein Open-Source-Software-Framework für die Inferenz und das Serving großer Sprachmodelle sowie verwandter multimodaler Modelle. Ursprünglich am Sky Computing Lab der University of California, Berkeley entwickelt, konzentriert sich das Projekt auf PagedAttention, eine Methode zur Speicherverwaltung für Transformer-Key-Value-Caches, und unterstützt Funktionen wie kontinuierliches Batching, verteilte Inferenz, Quantisierung und OpenAI-kompatible APIs. Es ist darauf ausgelegt, hohen Durchsatz und Speichereffizienz beim Einsatz großer Sprachmodelle in Produktionsumgebungen zu bieten.
Das Projekt hat in der Community für künstliche Intelligenz erhebliche Bedeutung erlangt und sich als Standardwerkzeug für das Serving von Modellen etabliert, mit Übernahme durch Cloud-Anbieter und Hardware-Hersteller. Seine Architektur und sein Design haben nachfolgende Inferenz-Frameworks beeinflusst, und seine Übergabe an die Linux Foundation im Jahr 2024 markierte einen Meilenstein in der Open-Source-Infrastruktur für KI.
Geschichte
vLLM wurde 2023 von Forschern des Sky Computing Lab der UC Berkeley eingeführt. Die Kernideen wurden in einem Paper von 2023 mit dem Titel „Efficient Memory Management for Large Language Model Serving with PagedAttention“ beschrieben, das das System als eine hochdurchsatz- und speichereffiziente Serving-Engine für große Sprachmodelle darstellte. Das Paper erläuterte, wie PagedAttention Speicherverschwendung im Key-Value-Cache reduzieren kann, einem kritischen Engpass bei der Transformer-Inferenz.
Laut einem Projektmitarbeiter bezog sich das „v“ in vLLM ursprünglich auf „virtual“, inspiriert von virtuellem Speicher. Diese Benennung spiegelt die konzeptionelle Anleihe bei Betriebssystem-Paging-Techniken wider.
Die Projektseite von PyTorch gibt an, dass die University of California, Berkeley vLLM im Juli 2024 an die Linux Foundation übertragen hat. Im Jahr 2025 kündigte die PyTorch Foundation an, dass vLLM ein von der Stiftung gehostetes Projekt geworden sei, was seine Governance unter dem Dach der Stiftung formalisierte. Im Januar 2026 berichtete TechCrunch, dass die Entwickler von vLLM das Startup Inferact gegründet hätten, um das Projekt zu kommerzialisieren und 150 Millionen US-Dollar an Startfinanzierung eingeworben hätten.
Architektur
Laut dem Paper von 2023 wurde vLLM entwickelt, um die Effizienz des Servings großer Sprachmodelle zu verbessern, indem Speicherverschwendung im Key-Value-Cache reduziert wird, der während der Transformer-Inferenz verwendet wird. Das Paper stellte PagedAttention vor, einen Algorithmus, der von virtuellem Speicher und Paging-Techniken in Betriebssystemen inspiriert ist, und beschrieb vLLM als eine Engine, die blockweise Speicherverwaltung und Anfrageplanung nutzt, um den Durchsatz zu erhöhen und gleichzeitig eine ähnliche Latenz beizubehalten.
PagedAttention funktioniert, indem der Key-Value-Cache in Blöcke fester Größe aufgeteilt wird, die dynamisch zugewiesen und freigegeben werden können, ähnlich wie Betriebssysteme physische Speicherseiten verwalten. Dieser Ansatz minimiert Fragmentierung und ermöglicht eine effizientere Nutzung des GPU-Speichers, was größere Batch-Größen und eine bessere Auslastung der Hardware-Ressourcen ermöglicht.
Die Projektdokumentation und das Repository beschreiben die Unterstützung für kontinuierliches Batching, Chunked Prefill, spekulative Dekodierung, Prefix-Caching, Quantisierung und verschiedene Formen verteilter Inferenz. Kontinuierliches Batching ermöglicht es dem System, Anfragen zu verarbeiten, sobald sie eintreffen, anstatt auf einen vollständigen Batch zu warten, was Reaktionsfähigkeit und Durchsatz verbessert. Spekulative Dekodierung nutzt kleinere Draft-Modelle, um die Generierung zu beschleunigen, während Prefix-Caching Berechnungen für gemeinsame Prompt-Präfixe wiederverwendet.
PyTorch hat vLLM als eine hochdurchsatz- und speichereffiziente Inferenz- und Serving-Engine beschrieben, die eine Reihe von Hardware-Backends unterstützt, darunter NVIDIA- und AMD-GPUs, Google-TPUs, AWS-Trainium und Intel-Prozessoren. Diese breite Hardware-Unterstützung macht es zu einer vielseitigen Wahl für verschiedene Einsatzszenarien, von lokalen Clustern bis hin zu Cloud-Umgebungen.
Funktionen und Fähigkeiten
vLLM bietet eine OpenAI-kompatible API, die es Entwicklern ermöglicht, es in bestehende Anwendungen und Tools zu integrieren, die eine standardisierte Schnittstelle erwarten. Diese Kompatibilität vereinfacht die Migration von anderen Serving-Lösungen und ermöglicht die nahtlose Nutzung mit Frameworks wie LangChain und LlamaIndex.
Die Quantisierungsunterstützung in vLLM umfasst Techniken wie INT8- und INT4-Gewichtsquantisierung, die die Modellgröße und den Speicherbedarf reduzieren, während eine akzeptable Genauigkeit beibehalten wird. Dies ist besonders wichtig für die Bereitstellung großer Modelle auf ressourcenbeschränkter Hardware.
Die verteilten Inferenzfähigkeiten ermöglichen es vLLM, über mehrere GPUs oder Knoten zu skalieren, indem Tensor-Parallelismus und Pipeline-Parallelismus genutzt werden, um Modelle zu verarbeiten, die den Speicher eines einzelnen Geräts überschreiten. Dies ist entscheidend für das Serving von Modellen der Spitzenklasse mit Hunderten von Milliarden Parametern.
Ökosystem und Verbreitung
vLLM ist zu einem grundlegenden Bestandteil der KI-Infrastruktur geworden, mit Integrationen von großen Cloud-Anbietern und Hardware-Herstellern. Beispielsweise unterstützt AWS vLLM auf seinen Trainium-Chips, und Google Cloud bietet es auf TPUs an. AMD und Intel haben vLLM ebenfalls für ihre Beschleuniger optimiert und damit seine Reichweite über NVIDIA-GPUs hinaus erweitert.
Der Open-Source-Charakter des Projekts hat eine lebendige Gemeinschaft von Mitwirkenden gefördert, mit regelmäßigen Veröffentlichungen und einer wachsenden Anzahl von Funktionen. Seine Verbreitung bei Startups und etablierten Unternehmen gleichermaßen hat es zu einem Maßstab für Inferenzleistung gemacht, der häufig in Vergleichen mit anderen Frameworks wie Ollama und SGLang herangezogen wird.
Siehe auch
- Ollama
- SGLang
- TensorRT-LLM
- llama.cpp
- OpenVINO
- Open Neural Network Exchange
- Vergleich von Deep-Learning-Software
- Vergleich von Machine-Learning-Software
- Liste von Software, die an Universitäten entwickelt wurde
- Liste von Open-Source-KI-Software
- Liste großer Sprachmodelle
- TurboQuant
- Globale Speicherknappheit 2025–heute