Qu’est-ce que llama.cpp ?
llama.cpp fait tourner de grands modèles de langage sur du matériel ordinaire. Il est écrit en C et C++ avec peu de dépendances et prend en charge les CPU, Apple Metal, NVIDIA CUDA, AMD HIP, Vulkan, Intel SYCL, WebGPU et une douzaine d'autres backends.
Il définit GGUF, le format en un seul fichier dans lequel la plupart des modèles locaux sont partagés, quantise les modèles de 1,5 bit à 8 bits pour qu'ils tiennent dans moins de mémoire, et livre llama-server, un serveur HTTP avec une API compatible OpenAI. Beaucoup d'applis plus connues se construisent dessus, dont llamafile et, historiquement, Ollama.
Le projet tague encore des builds plusieurs fois par jour, mais en octobre 2026 il a aussi commencé des versions numérotées : v0.6.0 le 5 octobre et v0.7.0 le 15 octobre. La v0.7.0 a déplacé le port par défaut du serveur de 8080 à 9931.
llama.cpp vaut-il le coup ?
llama.cpp est encore le moteur qui décide ce qui tourne sur un portable, et ses nouvelles versions numérotées le rendent plus facile à dépendre. Le dépôt a environ 132 100 étoiles GitHub, les tags de build continuent d'atterrir plusieurs fois par jour, et la v0.7.0 du 15 octobre 2026 a ajouté la prise en charge de plus de dix familles de modèles à la fois, de K2 Horizon à Nemotron Super 3.5 VL.
La portée est le but. Une seule base de code couvre les CPU x86 et ARM, Apple silicon, le matériel NVIDIA, AMD, Intel, Ascend et Snapdragon, et GGUF est la manière par défaut dont les modèles locaux sont partagés sur Hugging Face. Le travail récent va droit au mur de la mémoire : le cache d'experts de la v0.7.0 garde les poids à mélange d'experts en RAM hôte et les fait tourner sur le GPU depuis un cache LRU, ce qui, selon les mainteneurs, accélère le décodage jusqu'à 2,2 fois quand les experts sont déchargés.
Le coût de ce rythme est le turnover et l'exposition. Les flags et défauts bougent ; la v0.7.0 a déplacé le serveur sur le port 9931 et transformé la sortie de chat formatée en un tableau de parties, ce qui casse les deux les scripts. La sécurité a besoin d'attention aussi. L'analyse GGUF a eu une série d'avis de débordement de tas, et en mars 2026 un critique (CVE-2026-34159) permettait l'exécution de code à distance non authentifiée via le backend RPC, que le projet lui-même qualifie de fragile et non sécurisé. Le serveur se lie à 127.0.0.1 par défaut et n'a pas de clé d'API jusqu'à ce que vous en définissiez une.
Pour de nombreux utilisateurs simultanés sur des GPU de centre de données, vLLM et SGLang groupent les requêtes bien plus efficacement, et pour une expérience desktop en une commande, Ollama et llamafile cachent les boutons. llama.cpp se trouve sous les deux types d'utilisateurs, raison pour laquelle le support qui atterrit ici décide généralement quand un nouveau modèle ouvert devient pratique sur du matériel grand public.
Là où il fait la différence
Un développeur sur un portable Apple silicon
Faire tourner un modèle de code ou de chat capable hors ligne
Installez avec le script en une ligne de llama.app, puis `llama serve -hf <repo>` télécharge un GGUF et démarre un endpoint compatible OpenAI sur localhost vers lequel les éditeurs et agents peuvent pointer. Il n'y a pas de coût par token ; le compromis est une sortie plus lente et un modèle plus petit qu'une API cloud n'offre.
Un ingénieur plateforme dans une entreprise de 200 personnes avec des règles de résidence de données
Servir un assistant interne sur un ou deux GPU sur site
llama-server avec des slots parallèles, une clé d'API et un reverse proxy devant gère une concurrence modeste tout en gardant les prompts sur le matériel de l'entreprise. Sous forte charge, le batching de vLLM tire davantage des mêmes GPU, si bien que cela convient mieux à un pilote qu'à un déploiement à l'échelle de l'entreprise.
Une équipe mobile qui livre un assistant sur appareil sur des téléphones Snapdragon
Mettre un petit modèle quantisé dans une appli
La bibliothèque C/C++ se lie directement dans l'appli, avec les backends Hexagon et OpenCL (Adreno) pour les puces Qualcomm et la quantisation de 1,5 bit à 8 bits pour tenir en mémoire. La licence MIT autorise la livraison commerciale propriétaire ; budgétez du temps pour les changements fréquents de llama.h.
Avant de vous engager
- Mise en route
- Installeurs en une ligne de llama.app (shell sur macOS et Linux, PowerShell sur Windows), binaires précompilés sur la page des versions, images Docker ou un build depuis les sources. Avec un GGUF de Hugging Face, une première réponse prend quelques minutes, surtout du temps de téléchargement.
- Intégrations
- llama-server expose une API compatible OpenAI et une interface web avec un gestionnaire de modèles ; les éditeurs, agents et applis de chat se connectent via cette API. Les backends incluent CUDA, Metal, HIP, Vulkan, SYCL, CANN, Hexagon, WebGPU et RPC pour répartir un modèle entre machines.
- Données et confidentialité
- Tourne localement, et les modèles se téléchargent depuis Hugging Face seulement quand vous le demandez ; le README ne mentionne pas de télémétrie et une recherche de code GitHub ne trouve aucun code de télémétrie. Le serveur écoute sur 127.0.0.1:9931 sans clé d'API par défaut (les images Docker gardent 8080). Le serveur RPC ne doit jamais faire face à un réseau ouvert : CVE-2026-34159, noté critique, permettait l'exécution de code non authentifiée via lui. Licence MIT.
- Coût à grande échelle
- Gratuit sous MIT sans édition payante, si bien que le matériel est le coût. Les machines CPU uniquement et Apple silicon gèrent les petits modèles ; sur Lambda, un A10 (24 Go) est à 1,29 $ l'heure et un H100 PCIe à 3,29 $, soit environ 940 $ et 2 400 $ par mois s'ils restent en marche.
- Limites
- Environ 2 600 issues et pull requests ouvertes. Les flags du serveur et les formats de sortie changent entre versions, le débit à forte concurrence est en retard sur vLLM et SGLang, et le projet décrit le backend RPC comme une preuve de concept.
Les points forts
- Tourne sur presque n'importe quel matériel, y compris les machines CPU uniquement
- GGUF et l'outillage de quantisation sont le standard communautaire
- Serveur compatible OpenAI lié à localhost par défaut
- Les nouvelles architectures de modèles arrivent vite
Les points faibles
- Les flags et défauts changent souvent ; le port par défaut est passé à 9931 en v0.7.0
- Avis de sécurité répétés sur l'analyse GGUF et le RPC en 2025 et 2026
- Pas conçu pour le service GPU à forte concurrence
Idéal pour
Les développeurs qui veulent un contrôle direct sur l'exécution de modèles ouverts localement, sur des appareils edge ou sur des serveurs modestes.
Alternatives à llama.cpp
llama.cpp : questions fréquentes
- llama.cpp vaut-il le coup ?
- Si un modèle ouvert tourne sur un portable, il tourne presque certainement via llama.cpp, et rien d'autre ne couvre autant de matériel. Nous lui donnons 4.8 sur 5.
- Combien coûte llama.cpp ?
- Gratuit et open source sous la licence MIT. Pas d'édition payante.
- Quels sont les inconvénients de llama.cpp ?
- Les flags et défauts changent souvent ; le port par défaut est passé à 9931 en v0.7.0; avis de sécurité répétés sur l'analyse GGUF et le RPC en 2025 et 2026; pas conçu pour le service GPU à forte concurrence.
- À qui s’adresse llama.cpp ?
- Les développeurs qui veulent un contrôle direct sur l'exécution de modèles ouverts localement, sur des appareils edge ou sur des serveurs modestes.
- Combien coûte llama.cpp pour une équipe ou en production ?
- Gratuit sous MIT sans édition payante, si bien que le matériel est le coût. Les machines CPU uniquement et Apple silicon gèrent les petits modèles ; sur Lambda, un A10 (24 Go) est à 1,29 $ l'heure et un H100 PCIe à 3,29 $, soit environ 940 $ et 2 400 $ par mois s'ils restent en marche.
- llama.cpp est-il sûr pour les données de l’entreprise ?
- Tourne localement, et les modèles se téléchargent depuis Hugging Face seulement quand vous le demandez ; le README ne mentionne pas de télémétrie et une recherche de code GitHub ne trouve aucun code de télémétrie. Le serveur écoute sur 127.0.0.1:9931 sans clé d'API par défaut (les images Docker gardent 8080). Le serveur RPC ne doit jamais faire face à un réseau ouvert : CVE-2026-34159, noté critique, permettait l'exécution de code non authentifiée via lui. Licence MIT.
- Quelles sont les meilleures alternatives à llama.cpp ?
- Les alternatives les plus proches que nous avons testées sont Ollama, llamafile, MLX et vLLM.
Réponses vérifiées le 26 oct. 2026.