Was ist llama.cpp?
llama.cpp führt große Sprachmodelle auf gewöhnlicher Hardware aus. Es ist in C und C++ mit wenigen Abhängigkeiten geschrieben und unterstützt CPUs, Apple Metal, NVIDIA CUDA, AMD HIP, Vulkan, Intel SYCL, WebGPU und ein Dutzend weitere Backends.
Es definiert GGUF, das Ein-Datei-Format, in dem die meisten lokalen Modelle geteilt werden, quantisiert Modelle von 1,5 Bit bis 8 Bit, damit sie in weniger Speicher passen, und liefert llama-server mit, einen HTTP-Server mit OpenAI-kompatibler API. Viele bekanntere Apps bauen darauf auf, darunter llamafile und, in der Vergangenheit, Ollama.
Das Projekt taggt weiterhin mehrmals täglich Builds, hat im Oktober 2026 aber auch nummerierte Releases eingeführt: v0.6.0 am 5. Oktober und v0.7.0 am 15. Oktober. Mit v0.7.0 wanderte der Standard-Port des Servers von 8080 auf 9931.
Lohnt sich llama.cpp?
llama.cpp ist immer noch die Engine, die entscheidet, was auf einem Laptop läuft, und die neuen nummerierten Releases machen es leichter, sich darauf zu verlassen. Das Repository hat rund 132.100 GitHub-Sterne, Build-Tags kommen weiterhin mehrmals täglich, und v0.7.0 vom 15. Oktober 2026 brachte auf einen Schlag Unterstützung für mehr als zehn Modellfamilien, von K2 Horizon bis Nemotron Super 3.5 VL.
Die Reichweite ist der Punkt. Eine Codebasis deckt x86- und ARM-CPUs, Apple Silicon sowie Hardware von NVIDIA, AMD, Intel, Ascend und Snapdragon ab, und GGUF ist der Standardweg, auf dem lokale Modelle auf Hugging Face geteilt werden. Die jüngste Arbeit geht direkt gegen die Speichergrenze vor: Der Expert-Cache in v0.7.0 hält Mixture-of-Experts-Gewichte im Arbeitsspeicher des Hosts und führt sie aus einem LRU-Cache auf der GPU aus, was laut den Maintainern das Decoding um bis zu 2,2-mal beschleunigt, wenn Experts ausgelagert sind.
Der Preis dieses Tempos sind ständige Änderungen und Angriffsfläche. Flags und Standards verschieben sich; v0.7.0 verlegte den Server auf Port 9931 und machte formatierte Chat-Ausgaben zu einem Array aus Teilen, was beides Skripte bricht. Auch die Sicherheit braucht Aufmerksamkeit. Das Parsen von GGUF hatte eine Reihe von Heap-Overflow-Advisories, und im März 2026 erlaubte eine kritische Lücke (CVE-2026-34159) Remote Code Execution ohne Authentifizierung über das RPC-Backend, das das Projekt selbst als fragil und unsicher bezeichnet. Der Server bindet standardmäßig an 127.0.0.1 und hat keinen API-Key, bis du einen setzt.
Für viele gleichzeitige Nutzer auf Rechenzentrums-GPUs bündeln vLLM und SGLang Anfragen weit effizienter, und für ein Desktop-Erlebnis mit einem einzigen Befehl verstecken Ollama und llamafile die Stellschrauben. llama.cpp liegt unter beiden Arten von Nutzern, und deshalb entscheidet meist die Unterstützung hier, wann ein neues offenes Modell auf Consumer-Hardware praktikabel wird.
Wo es sich lohnt
Eine Entwicklerin mit einem Laptop mit Apple Silicon
Ein fähiges Coding- oder Chatmodell offline betreiben
Installiere mit dem einzeiligen Skript von llama.app, dann lädt `llama serve -hf <repo>` ein GGUF herunter und startet auf localhost einen OpenAI-kompatiblen Endpunkt, auf den Editoren und Agenten zeigen können. Es gibt keine Kosten pro Token; der Preis ist eine langsamere Ausgabe und ein kleineres Modell, als eine Cloud-API bietet.
Ein Plattform-Engineer in einem Unternehmen mit 200 Leuten und Vorgaben zur Datenresidenz
Einen internen Assistenten auf einer oder zwei GPUs im eigenen Rechenzentrum bereitstellen
llama-server mit parallelen Slots, einem API-Key und einem vorgeschalteten Reverse Proxy bewältigt moderate Parallelität und hält die Prompts auf der Hardware des Unternehmens. Unter hoher Last holt das Batching von vLLM mehr aus denselben GPUs, das passt also eher zu einem Pilotprojekt als zu einem unternehmensweiten Rollout.
Ein Mobile-Team, das einen Assistenten auf dem Gerät für Snapdragon-Smartphones ausliefert
Ein kleines quantisiertes Modell in eine App packen
Die C/C++-Bibliothek wird direkt in die App gelinkt, mit Backends für Hexagon und OpenCL (Adreno) auf Qualcomm-Chips und Quantisierung von 1,5 Bit bis 8 Bit, damit es in den Speicher passt. Die MIT-Lizenz erlaubt kommerzielle Auslieferung als Closed Source; plane Zeit für häufige Änderungen an llama.h ein.
Bevor du dich festlegst
- Einrichtung
- Einzeilige Installer von llama.app (Shell auf macOS und Linux, PowerShell auf Windows), fertige Binaries auf der Releases-Seite, Docker-Images oder ein Build aus dem Quellcode. Mit einem GGUF von Hugging Face dauert eine erste Antwort Minuten, die meiste Zeit davon für den Download.
- Integrationen
- llama-server stellt eine OpenAI-kompatible API und eine Weboberfläche mit Modellverwaltung bereit; Editoren, Agenten und Chat-Apps verbinden sich über diese API. Zu den Backends gehören CUDA, Metal, HIP, Vulkan, SYCL, CANN, Hexagon, WebGPU und RPC, um ein Modell auf mehrere Rechner zu verteilen.
- Daten und Datenschutz
- Läuft lokal, und Modelle werden nur auf deine Anweisung von Hugging Face geladen; das README erwähnt keine Telemetrie, und eine GitHub-Codesuche findet keinen Telemetrie-Code. Der Server lauscht standardmäßig auf 127.0.0.1:9931 ohne API-Key (Docker-Images bleiben bei 8080). Der RPC-Server darf nie an einem offenen Netz hängen: CVE-2026-34159, als kritisch eingestuft, erlaubte darüber Codeausführung ohne Authentifizierung. MIT-Lizenz.
- Kosten im großen Maßstab
- Kostenlos unter MIT ohne bezahlte Edition, die Kosten sind also die Hardware. Rechner nur mit CPU und Apple Silicon bewältigen kleine Modelle; bei Lambda kostet eine A10 (24 GB) 1,29 $ pro Stunde und eine H100 PCIe 3,29 $, im Dauerbetrieb grob 940 $ und 2.400 $ im Monat.
- Grenzen
- Rund 2.600 offene Issues und Pull Requests. Server-Flags und Ausgabeformate ändern sich zwischen Releases, der Durchsatz bei hoher Parallelität bleibt hinter vLLM und SGLang zurück, und das Projekt bezeichnet das RPC-Backend als Proof of Concept.
Was gut ist
- Läuft auf fast jeder Hardware, auch auf Rechnern nur mit CPU
- GGUF und die Quantisierungswerkzeuge sind der Standard der Community
- OpenAI-kompatibler Server, standardmäßig an localhost gebunden
- Neue Modellarchitekturen kommen schnell dazu
Was nicht
- Flags und Standards ändern sich oft; der Standard-Port wanderte in v0.7.0 auf 9931
- Wiederholte Sicherheits-Advisories zum GGUF-Parsing und zu RPC in 2025 und 2026
- Nicht für GPU-Serving mit hoher Parallelität gebaut
Am besten für
Entwickler, die direkte Kontrolle darüber wollen, wie offene Modelle lokal, auf Edge-Geräten oder auf bescheidenen Servern laufen.
Alternativen zu llama.cpp
llama.cpp: häufige Fragen
- Lohnt sich llama.cpp?
- Wenn ein offenes Modell auf einem Laptop läuft, dann fast sicher über llama.cpp, und nichts anderes deckt so viel Hardware ab. Wir bewerten es mit 4.8 von 5.
- Was kostet llama.cpp?
- Kostenlos und Open Source unter der MIT-Lizenz. Keine bezahlte Edition.
- Welche Nachteile hat llama.cpp?
- Flags und Standards ändern sich oft; der Standard-Port wanderte in v0.7.0 auf 9931; Wiederholte Sicherheits-Advisories zum GGUF-Parsing und zu RPC in 2025 und 2026; Nicht für GPU-Serving mit hoher Parallelität gebaut.
- Für wen eignet sich llama.cpp?
- Entwickler, die direkte Kontrolle darüber wollen, wie offene Modelle lokal, auf Edge-Geräten oder auf bescheidenen Servern laufen.
- Was kostet llama.cpp für ein Team oder im Produktivbetrieb?
- Kostenlos unter MIT ohne bezahlte Edition, die Kosten sind also die Hardware. Rechner nur mit CPU und Apple Silicon bewältigen kleine Modelle; bei Lambda kostet eine A10 (24 GB) 1,29 $ pro Stunde und eine H100 PCIe 3,29 $, im Dauerbetrieb grob 940 $ und 2.400 $ im Monat.
- Ist llama.cpp sicher für Firmendaten?
- Läuft lokal, und Modelle werden nur auf deine Anweisung von Hugging Face geladen; das README erwähnt keine Telemetrie, und eine GitHub-Codesuche findet keinen Telemetrie-Code. Der Server lauscht standardmäßig auf 127.0.0.1:9931 ohne API-Key (Docker-Images bleiben bei 8080). Der RPC-Server darf nie an einem offenen Netz hängen: CVE-2026-34159, als kritisch eingestuft, erlaubte darüber Codeausführung ohne Authentifizierung. MIT-Lizenz.
- Was sind die besten Alternativen zu llama.cpp?
- Die nächsten Alternativen, die wir getestet haben, sind Ollama, llamafile, MLX und vLLM.
Antworten geprüft am 26. Okt. 2026.