llama.cpp es una biblioteca de software de código abierto que realiza inferencia en varios modelos de lenguaje de gran tamaño como el modelo Llama de Meta. Se desarrolla conjuntamente con el proyecto GGML, una biblioteca de tensores de propósito general escrita en C. La biblioteca se centra en la ejecución eficiente en computadoras sin GPU dedicadas, haciendo que los modelos de aprendizaje automático sean accesibles en hardware estándar.
El proyecto incluye herramientas de línea de comandos y un servidor con una interfaz web simple. Se ha convertido en el estándar de facto como el núcleo de casi todas las herramientas de inferencia local, incluyendo Ollama y LM Studio, permitiendo a los usuarios ejecutar modelos de IA generativa en sus propios dispositivos.
Antecedentes
A finales de septiembre de 2022, el desarrollador georgiano Georgi Gerganov comenzó a trabajar en la biblioteca GGML, una biblioteca C que implementa álgebra tensorial. Gerganov diseñó GGML con una gestión estricta de memoria y multihilo como objetivos principales. La creación se inspiró en el trabajo de Fabrice Bellard sobre LibNC, una biblioteca C para cálculos tensoriales.
Antes de comenzar llama.cpp, Gerganov había desarrollado una biblioteca similar llamada whisper.cpp, que implementaba Whisper, un modelo de voz a texto creado por OpenAI. Este proyecto anterior estableció su enfoque para la inferencia eficiente de modelos en lenguajes de bajo nivel.
Desarrollo
llama.cpp comenzó su desarrollo en marzo de 2023 como una implementación del código de inferencia de Llama en C/C++ puro sin dependencias externas. Este enfoque mejoró el rendimiento en computadoras sin GPU u otro hardware especializado, que era un objetivo principal del proyecto. Rápidamente ganó prominencia entre los usuarios sin hardware dedicado, ya que podía ejecutarse solo con una unidad central de procesamiento (CPU).
Aunque inicialmente se diseñó para CPU, posteriormente se añadió soporte para backends de GPU y unidad de procesamiento neuronal (NPU). A mayo de 2026, el proyecto tiene más de 109 000 estrellas en GitHub, lo que refleja su amplia adopción.
Los hitos clave del desarrollo incluyen: FlashAttention se introdujo el 30 de abril de 2024, mejorando la eficiencia del mecanismo de atención. El 10 de abril de 2025, se introdujo libmtmd para revitalizar el soporte de modelos multimodales que anteriormente había estado estancado. El 17 de diciembre de 2025, se introdujo la aceleración completa en dispositivos Android y ChromeOS mediante un nuevo enlace de GUI, permitiendo el desarrollo de aplicaciones nativas más allá de la compilación cruzada y la ejecución de una interfaz de línea de comandos en un shell adb.
Arquitectura
llama.cpp soporta múltiples objetivos de hardware, incluyendo x86, ARM, Metal, BLAS, BLIS, zDNN, ZenDNN, SYCL, MUSA, CUDA, HIP, CANN, OpenCL, RPC y Vulkan versión 1.2 o superior. Estos backends forman parte de la biblioteca de tensores GGML, que utiliza el código front-end específico del modelo de llama.cpp.
La biblioteca hace uso de varias extensiones de CPU para la optimización. Para x86-64, utiliza los conjuntos de instrucciones AVX, AVX2, AVX-512, AVX-VNNI y AMX. Para AArch64 (ARM64), utiliza NEON, i8MM, SVE, SVE2, SME y SME2. Para s390x, utiliza la Instalación de Mejora Vectorial 2 (VXE2). El silicio de Apple es un objetivo importante para el proyecto.
Varias características se dirigen a la inferencia en dispositivos periféricos. Estas incluyen la cuantización del modelo por adelantado, la cuantización de la caché de claves y valores (kv) sobre la marcha, decodificación especulativa y la descarga parcial de capas del modelo a la RAM del sistema. Esta última permite que los dispositivos carguen modelos que de otro modo serían demasiado grandes para caber completamente en la VRAM de la GPU.
Para la comunicación front-end, llama.cpp proporciona endpoints compatibles con OpenAI como v1/chat/completions y soporta el formato de salida basado en gramática como JSON. Esto permite que los servicios en la nube se integren con la biblioteca.
Formato de archivo GGUF
El formato GGUF (GGML Universal File) es un formato binario que almacena tanto tensores como metadatos en un solo archivo, diseñado para la carga y guardado rápido de datos de modelos. Fue introducido en agosto de 2023 por el equipo del proyecto para mantener la compatibilidad hacia atrás a medida que se añadía soporte para otras arquitecturas de modelos.
GGUF reemplazó al formato GGML anterior y típicamente se produce convirtiendo modelos desarrollados con otras bibliotecas de aprendizaje automático como PyTorch. El formato se centra en la cuantización, que es el acto de reducir la precisión en los pesos del modelo. La cuantización reduce el uso de memoria y aumenta la velocidad, aunque a costa de una precisión reducida del modelo.
GGUF soporta tipos enteros cuantizados de 2 a 8 bits, formatos de datos de coma flotante comunes como float32, float16 y bfloat16, y cuantización de 1,58 bits. Contiene el vocabulario del tokenizador, la longitud del contexto, la información de los tensores y otros atributos necesarios para un modelo de lenguaje similar a GPT.
La estructura a nivel de bytes utiliza orden little-endian, dividida en un bloque de metadatos y un bloque de información de tensores. Esta estructura permite una serialización eficiente hacia y desde el almacenamiento para un uso dinámico.<br>
Modelos
llama.cpp soporta muchos modelos de lenguaje de gran tamaño, incluyendo Llama, Mistral, Gemma, DeepSeek, gpt-oss, Phi y Qwen. Esta variedad lo convierte en una solución flexible para diversos casos de uso de inteligencia artificial, desde aplicaciones de chat hasta tareas más especializadas.
Herramientas comunitarias como Ollama y LM Studio se construyen sobre el proyecto, y a menudo utiliza ecosistemas propietarios como Anthropic en infraestructura local.