¿Qué es llama.cpp?
llama.cpp ejecuta grandes modelos de lenguaje en hardware corriente. Está escrito en C y C++ con pocas dependencias y admite CPU, Apple Metal, NVIDIA CUDA, AMD HIP, Vulkan, Intel SYCL, WebGPU y una docena de backends más.
Define GGUF, el formato de archivo único en el que se comparten la mayoría de los modelos locales, cuantiza modelos de 1,5 a 8 bits para que quepan en menos memoria e incluye llama-server, un servidor HTTP con una API compatible con OpenAI. Muchas aplicaciones más conocidas se basan en él, como llamafile y, en su momento, Ollama.
El proyecto sigue etiquetando builds varias veces al día, pero en octubre de 2026 empezó también a publicar versiones numeradas: la v0.6.0 el 5 de octubre y la v0.7.0 el 15 de octubre. La v0.7.0 cambió el puerto por defecto del servidor de 8080 a 9931.
¿Merece la pena llama.cpp?
llama.cpp sigue siendo el motor que decide qué funciona en un portátil, y sus nuevas versiones numeradas hacen más fácil depender de él. El repositorio tiene unas 132.100 estrellas en GitHub, las etiquetas de build siguen llegando varias veces al día y la v0.7.0, del 15 de octubre de 2026, añadió de golpe soporte para más de diez familias de modelos, de K2 Horizon a Nemotron Super 3.5 VL.
El alcance es lo esencial. Una sola base de código cubre CPU x86 y ARM, Apple silicon y hardware de NVIDIA, AMD, Intel, Ascend y Snapdragon, y GGUF es la forma habitual de compartir modelos locales en Hugging Face. El trabajo reciente ataca directamente el límite de memoria: la caché de expertos de la v0.7.0 mantiene los pesos de mixture-of-experts en la RAM del sistema y los ejecuta en la GPU desde una caché LRU, lo que según los mantenedores acelera la decodificación hasta 2,2 veces cuando los expertos se descargan fuera de la GPU.
El precio de ese ritmo son los cambios constantes y la exposición. Las opciones y los valores por defecto cambian; la v0.7.0 pasó el servidor al puerto 9931 y convirtió la salida de chat formateada en un array de partes, dos cambios que rompen scripts. La seguridad también requiere atención. El análisis de GGUF ha acumulado avisos de desbordamiento de heap, y en marzo de 2026 uno crítico (CVE-2026-34159) permitía ejecución remota de código sin autenticación a través del backend RPC, que el propio proyecto califica de frágil e inseguro. El servidor escucha en 127.0.0.1 por defecto y no tiene clave de API hasta que defines una.
Para muchos usuarios simultáneos en GPU de centro de datos, vLLM y SGLang agrupan peticiones con mucha más eficiencia, y para una experiencia de escritorio con un solo comando Ollama y llamafile esconden los ajustes. llama.cpp está por debajo de ambos tipos de usuario, y por eso que llegue aquí el soporte suele decidir cuándo un nuevo modelo abierto se vuelve práctico en hardware de consumo.
Dónde se gana su sitio
Un desarrollador con un portátil con Apple silicon
Ejecutar sin conexión un modelo capaz de programación o de chat
Instalar con el script de una línea de llama.app y después `llama serve -hf <repo>` descarga un GGUF y arranca en localhost un endpoint compatible con OpenAI al que pueden apuntar editores y agentes. No hay coste por token; a cambio, la salida es más lenta y el modelo más pequeño que el de una API en la nube.
Un ingeniero de plataforma en una empresa de 200 personas con normas de residencia de datos
Servir un asistente interno en una o dos GPU propias
llama-server con slots en paralelo, una clave de API y un proxy inverso delante atiende una concurrencia modesta y mantiene los prompts en el hardware de la empresa. Con carga alta, el batching de vLLM saca más de las mismas GPU, así que esto encaja mejor en un piloto que en un despliegue para toda la empresa.
Un equipo móvil que lanza un asistente integrado en teléfonos con Snapdragon
Meter un modelo pequeño cuantizado dentro de una aplicación
La librería en C/C++ se enlaza directamente en la aplicación, con backends Hexagon y OpenCL (Adreno) para chips de Qualcomm y cuantización de 1,5 a 8 bits para ajustarse a la memoria. La licencia MIT permite distribuirla comercialmente en código cerrado; reserva tiempo para los cambios frecuentes en llama.h.
Antes de decidirte
- Puesta en marcha
- Instaladores de una línea desde llama.app (shell en macOS y Linux, PowerShell en Windows), binarios precompilados en la página de versiones, imágenes de Docker o compilación desde el código. Con un GGUF de Hugging Face, la primera respuesta llega en minutos, casi todos de descarga.
- Integraciones
- llama-server expone una API compatible con OpenAI y una interfaz web con gestor de modelos; editores, agentes y aplicaciones de chat se conectan a través de esa API. Los backends incluyen CUDA, Metal, HIP, Vulkan, SYCL, CANN, Hexagon, WebGPU y RPC para repartir un modelo entre varias máquinas.
- Datos y privacidad
- Funciona en local, y los modelos solo se descargan de Hugging Face cuando lo pides; el README no menciona telemetría y una búsqueda en el código en GitHub no encuentra código de telemetría. El servidor escucha en 127.0.0.1:9931 sin clave de API por defecto (las imágenes de Docker mantienen el 8080). El servidor RPC nunca debe quedar expuesto a una red abierta: CVE-2026-34159, calificado como crítico, permitía ejecutar código sin autenticación a través de él. Licencia MIT.
- Coste a escala
- Gratis bajo MIT y sin edición de pago, así que el coste es el hardware. Las máquinas solo con CPU y con Apple silicon manejan modelos pequeños; en Lambda, una A10 (24 GB) cuesta 1,29 $ la hora y una H100 PCIe 3,29 $, unos 940 $ y 2.400 $ al mes si se dejan encendidas.
- Límites
- Unas 2.600 incidencias y pull requests abiertas. Las opciones del servidor y los formatos de salida cambian entre versiones, el rendimiento con mucha concurrencia queda por detrás de vLLM y SGLang, y el proyecto describe el backend RPC como prueba de concepto.
Lo bueno
- Funciona en casi cualquier hardware, incluidas máquinas solo con CPU
- GGUF y las herramientas de cuantización son el estándar de la comunidad
- Servidor compatible con OpenAI que escucha en localhost por defecto
- Las nuevas arquitecturas de modelos llegan rápido
Lo malo
- Opciones y valores por defecto cambian a menudo; el puerto por defecto pasó a 9931 en la v0.7.0
- Avisos de seguridad repetidos en el análisis de GGUF y en RPC en 2025 y 2026
- No está hecho para servir en GPU con mucha concurrencia
Ideal para
Desarrolladores que quieren control directo para ejecutar modelos abiertos en local, en dispositivos edge o en servidores modestos.
Alternativas a llama.cpp
llama.cpp: preguntas frecuentes
- ¿Merece la pena llama.cpp?
- Si un modelo abierto funciona en un portátil, casi seguro que lo hace a través de llama.cpp, y nada más cubre tanto hardware. Le damos un 4.8 sobre 5.
- ¿Cuánto cuesta llama.cpp?
- Gratuito y de código abierto bajo licencia MIT. Sin edición de pago.
- ¿Qué inconvenientes tiene llama.cpp?
- Opciones y valores por defecto cambian a menudo; el puerto por defecto pasó a 9931 en la v0.7.0; avisos de seguridad repetidos en el análisis de GGUF y en RPC en 2025 y 2026; no está hecho para servir en GPU con mucha concurrencia.
- ¿Para quién es llama.cpp?
- Desarrolladores que quieren control directo para ejecutar modelos abiertos en local, en dispositivos edge o en servidores modestos.
- ¿Cuánto cuesta llama.cpp para un equipo o en producción?
- Gratis bajo MIT y sin edición de pago, así que el coste es el hardware. Las máquinas solo con CPU y con Apple silicon manejan modelos pequeños; en Lambda, una A10 (24 GB) cuesta 1,29 $ la hora y una H100 PCIe 3,29 $, unos 940 $ y 2.400 $ al mes si se dejan encendidas.
- ¿Es llama.cpp seguro para los datos de la empresa?
- Funciona en local, y los modelos solo se descargan de Hugging Face cuando lo pides; el README no menciona telemetría y una búsqueda en el código en GitHub no encuentra código de telemetría. El servidor escucha en 127.0.0.1:9931 sin clave de API por defecto (las imágenes de Docker mantienen el 8080). El servidor RPC nunca debe quedar expuesto a una red abierta: CVE-2026-34159, calificado como crítico, permitía ejecutar código sin autenticación a través de él. Licencia MIT.
- ¿Cuáles son las mejores alternativas a llama.cpp?
- Las alternativas más cercanas que hemos analizado son Ollama, llamafile, MLX y vLLM.
Respuestas comprobadas el 26 oct 2026.