GGML ist eine universelle Tensor-Bibliothek, die in C geschrieben wurde und für maschinelle Lernanwendungen entwickelt wurde, mit einem Fokus auf effiziente Ausführung auf Consumer-Hardware. Sie wurde von Georgi Gerganov erstellt und wird gemeinsam mit llama.cpp entwickelt, einer Open-Source-Softwarebibliothek, die Inferenz auf verschiedenen großen Sprachmodellen wie Metas Llama durchführt. GGML stellt die zugrunde liegenden Tensor-Operationen und Hardware-Backends bereit, die es llama.cpp ermöglichen, Modelle auf CPUs, GPUs und anderen Beschleunigern auszuführen, wodurch lokale KI-Inferenz einem breiten Publikum zugänglich wird.
Die Bibliothek legt Wert auf striktes Speichermanagement und Multithreading, was es ihr ermöglicht, auch auf Systemen ohne dedizierte Grafikkarten eine hohe Leistung zu erzielen. GGML ist zu einem grundlegenden Bestandteil des lokalen KI-Ökosystems geworden, wobei llama.cpp als De-facto-Standard für lokale Inferenzwerkzeuge gilt, einschließlich beliebter Anwendungen wie Ollama und LM Studio.
Hintergrund
Georgi Gerganov begann Ende September 2022 mit der Arbeit an der GGML-Bibliothek und ließ sich dabei von Fabrice Bellards Arbeit an LibNC inspirieren. Vor GGML entwickelte Gerganov whisper.cpp, eine ähnliche Bibliothek, die OpenAIs Whisper-Sprach-zu-Text-Modell implementierte. Dieses frühere Projekt legte den Grundstein für die Designprinzipien und den technischen Ansatz, die später auf GGML und llama.cpp angewendet wurden.
Entwicklung
llama.cpp begann seine Entwicklung im März 2023 als reine C/C++-Implementierung von Llama-Inferenzcode ohne externe Abhängigkeiten. Das Projekt zielte darauf ab, die Leistung auf Computern ohne GPUs oder andere dedizierte Hardware zu verbessern, und gewann schnell an Popularität bei Nutzern mit begrenzten Hardwarefähigkeiten. Ursprünglich für CPUs konzipiert, fügte llama.cpp später Unterstützung für GPUs und NPUs hinzu. Stand Mai 2026 hat das Projekt über 109.000 Sterne auf GitHub.
Zu den wichtigsten Meilensteinen gehört die Einführung von FlashAttention am 30. April 2024, die die Effizienz der Aufmerksamkeitsberechnung erheblich verbesserte. Am 10. April 2025 wurde libmtmd eingeführt, das die Unterstützung für multimodale Modelle wiederbelebte. Am 17. Dezember 2025 wurde die vollständige Beschleunigung auf Android- und ChromeOS-Geräten über eine neue GUI-Bindung ermöglicht, was die native App-Entwicklung über den bisherigen Ansatz mit Cross-Compiling und CLI hinaus erlaubt.
Architektur
llama.cpp unterstützt mehrere Hardware-Ziele, darunter x86, ARM, Metal, BLAS, BLIS, zDNN, ZenDNN, SYCL, MUSA, CUDA, HIP, CANN, OpenCL, RPC und Vulkan (Version 1.2 oder höher). Diese Backends bilden die GGML-Tensor-Bibliothek, die vom modellspezifischen llama.cpp-Frontend verwendet wird. Die Bibliothek nutzt CPU-Erweiterungen zur Optimierung: AVX, AVX2, AVX-512, AVX-VNNI und AMX für x86-64; Neon, i8MM, SVE, SVE2, SME und SME2 für AArch64; und VXE2 für S390x. Apple Silicon ist ein wichtiges Ziel für das Projekt.
GGML unterstützt Funktionen für Edge-Inferenz, darunter Ahead-of-Time-Modellquantisierung, On-the-fly-KV-Cache-Quantisierung, spekulative Dekodierung und teilweises Auslagern von Modellschichten in den Systemspeicher, was es Geräten ermöglicht, Modelle zu laden, die die GPU-VRAM-Kapazität überschreiten. Für die Frontend-Kommunikation bietet llama.cpp OpenAI-kompatible Endpunkte wie v1/chat/completions und grammatikbasierte Ausgabeformatierung als JSON.
GGUF-Dateiformat
Das GGUF-Format (GGML Universal File) ist ein binäres Format, das sowohl Tensoren als auch Metadaten in einer einzigen Datei speichert und für schnelles Speichern und Laden von Modelldaten entwickelt wurde. Das GGUF-Format wurde im August 2023 vom llama.cpp-Projekt eingeführt und erstellt, um die Abwärtskompatibilität zu gewährleisten, als Unterstützung für zusätzliche Modellarchitekturen hinzugefügt wurde. Es löste frühere Formate wie GGML ab und wird typischerweise durch die Konvertierung von Modellen aus anderen Bibliotheken für maschinelles Lernen wie PyTorch erzeugt.
Design
GGUF konzentriert sich auf Quantisierung, die die Präzision von Modellgewichten reduziert, um den Speicherverbrauch zu senken und die Geschwindigkeit zu erhöhen, auf Kosten einer gewissen Genauigkeit. Es unterstützt quantisierte Integer-Typen von 2 Bit bis 8 Bit, gängige Gleitkommaformate wie float32, float16 und bfloat16 sowie 1,58-Bit-Quantisierung. Das Format enthält wesentliche Informationen für die Ausführung von GPT-ähnlichen Sprachmodellen, wie Tokenizer-Vokabular, Kontextlänge, Tensorinformationen und andere Attribute.
Modelle
llama.cpp unterstützt eine breite Palette großer Sprachmodelle, darunter Llama, Mistral, Gemma, DeepSeek, gpt-oss, Phi und Qwen. Diese breite Kompatibilität hat GGML und llama.cpp zu unverzichtbaren Werkzeugen für Entwickler und Forscher gemacht, die mit großen Sprachmodellen auf lokaler Hardware arbeiten.