Was ist llamafile?
llamafile macht aus einem offenen Modell eine einzige Datei, die du herunterladen und ausführen kannst. Es kombiniert llama.cpp mit Cosmopolitan Libc, sodass dieselbe Datei auf macOS, Windows, Linux, FreeBSD, OpenBSD und NetBSD läuft, auf CPUs mit x86-64 ebenso wie mit ARM64.
Es begann als Projekt von Mozilla Builders und wird von Mozilla.ai gepflegt. Nach einer Pause zwischen 0.9.3 im Mai 2025 und 0.10.0 im März 2026 wechselte die Reihe 0.10 auf ein neues Build-System, das dem Upstream-llama.cpp eng folgt; laut Doku bringt es Unterstützung für neuere Modelle, könnte aber einige Funktionen von 0.9 vermissen lassen und wurde nicht auf jeder GPU und Plattform getestet.
Enthalten ist auch whisperfile, ein Speech-to-Text-Werkzeug in einer einzigen Datei auf Basis von whisper.cpp. Das Projekt steht unter Apache 2.0; seine Änderungen an llama.cpp und whisper.cpp unter MIT.
Lohnt sich llamafile?
llamafile löst die Verteilung, nicht die Inferenz. Eine ausführbare Datei enthält die Engine und optional die Gewichte; auf macOS und Linux machst du sie ausführbar und startest sie, auf Windows benennst du sie in .exe um. Es hat rund 26.500 GitHub-Sterne und hat seit März 2026 sieben Releases der Reihe 0.10 veröffentlicht, das jüngste am 15. September.
Die Portabilität hat Grenzen. Windows führt keine ausführbare Datei über 4 GB aus, alles jenseits eines kleinen quantisierten Modells braucht also die nackte Binary plus eine separate GGUF-Datei oder WSL. CPUs mit x86-64 müssen AVX haben. Die GPU-Unterstützung umfasst Metal, CUDA, ROCm und Vulkan, aber die Doku nennt die Pfade für AMD und Windows Best Effort, und wenn ein Backend nicht lädt, fällt llamafile stillschweigend auf die CPU zurück, außer du erzwingst eines mit --gpu.
Das Sicherheitsdesign ist sorgfältiger als bei den meisten lokalen Runnern. Im Modus --server legt es unter Linux und OpenBSD eine pledge-Sandbox an, die ausgehende Verbindungen und Schreibzugriffe auf Dateien blockiert, und --confine-reads verbirgt alles außerhalb des Modellverzeichnisses. Die Doku ist offen bei den Lücken: Mit aktivierter GPU gibt es überhaupt keine Sandbox, ebenso wenig auf macOS oder Windows und im standardmäßigen kombinierten Modus. Der Server lauscht standardmäßig auf 127.0.0.1:8080, und --host 0.0.0.0 öffnet ihn ohne API-Key für das Netzwerk, solange du nicht --api-key setzt.
Für die tägliche Arbeit bekommt llama.cpp selbst neue Modelle und Flags zuerst, und Ollama verwaltet Modelle besser. Die Nische von llamafile ist die Übergabe: ein USB-Stick für einen Workshop, ein Offline-Laptop im Feldeinsatz, eine Demo für einen Kollegen, der nie Python installieren wird. In dieser Nische ist die 4-GB-Grenze unter Windows die Einschränkung, die am meisten zählt.
Wo es sich lohnt
Ein Developer-Relations-Engineer, der einen Workshop mit 40 Plätzen leitet
Jeden Teilnehmer in fünf Minuten mit einem lokalen Modell chatten lassen, egal welchen Laptop er mitbringt
Verteile ein kleines, fertig gebautes llamafile wie Qwen3.5 0.8B unter 4 GB, damit es auch unter Windows läuft. Kein Python, kein Paketmanager; der Aufwand besteht darin, ein Modell zu wählen, das klein genug für den schwächsten Laptop ist.
Eine Feldforscherin, die ohne Internet arbeitet
Interviews transkribieren und Notizen auf einem Offline-Laptop zusammenfassen
Nimm ein whisperfile und ein llamafile auf dem Laufwerk mit und führe beide auf der CPU aus. Nichts verlässt den Rechner; rechne auf älteren CPUs mit langsamer Ausgabe, und auf x86-64 ist AVX Pflicht.
Ein IT-Leiter in einem Unternehmen mit 50 Leuten, der lokale KI unter einer No-Cloud-Richtlinie erprobt
Den Beschäftigten einen internen Chat-Endpunkt geben, ohne Daten an einen Anbieter zu senden
Starte --server auf einem Linux-Rechner mit --confine-reads, halte die Gewichte in einem eigenen Verzeichnis und setze einen Reverse Proxy vor Port 8080. Die Sandbox gilt nur im CPU-Modus, ein GPU-Server braucht also eine eigene Isolierung.
Bevor du dich festlegst
- Einrichtung
- Lade ein .llamafile herunter, chmod +x und starte es (unter Windows in .exe umbenennen); oder lade die nackte Binary und richte -m auf ein beliebiges GGUF. Das Beispielmodell mit 0.8B antwortet auf einer Laptop-CPU innerhalb von Minuten.
- Integrationen
- Server und Weboberfläche von llama.cpp mit einem OpenAI-kompatiblen Endpunkt auf Port 8080; Terminal-Modi --cli und --chat; optionale eingebaute Tools und ein MCP-Proxy; whisperfile für Transkription.
- Daten und Datenschutz
- Läuft lokal; die Doku erwähnt keine Telemetrie, und eine GitHub-Codesuche findet keinen Telemetrie-Code. Der Server-Modus unter Linux blockiert ausgehende Verbindungen und Schreibzugriffe, aber GPU-Modus, macOS, Windows und der standardmäßige kombinierte Modus laufen ohne Sandbox, und ein llamafile aus einer nicht vertrauenswürdigen Quelle kann die Sandbox entfernen.
- Kosten im großen Maßstab
- Kostenlos, ohne bezahlte Edition von Mozilla.ai. Die Hardware ist, was immer das Modell ausführt: eine CPU mit x86-64 und AVX oder ARMv8 mit genug RAM für die Gewichte, optional eine GPU mit Metal, CUDA, ROCm oder Vulkan.
- Grenzen
- 216 offene Issues und Pull Requests; 4-GB-Grenze für ausführbare Dateien unter Windows; das mitgelieferte CUDA hat keine Kernels für IQ-Quants; Multi-GPU kann auf AMD scheitern; Beispiele für 0.9 sind unter 0.10 ungetestet.
Was gut ist
- Eine Datei, keine Installation
- Läuft auf sechs Betriebssystemen, x86-64 und ARM64
- Die Server-Sandbox blockiert unter Linux ausgehenden Netzwerkverkehr
- Enthält Speech-to-Text über whisperfile
Was nicht
- 4 GB Grenze für ausführbare Dateien unter Windows
- Keine Sandbox mit aktivierter GPU oder auf macOS und Windows
- Stiller Rückfall auf die CPU, wenn ein GPU-Backend scheitert
- Der Neubau mit 0.10 hat einige Funktionen von 0.9 verloren
Am besten für
Leute, die ein lokales Modell ohne jede Einrichtung teilen oder ausführen müssen, auch offline.
Alternativen zu llamafile
llamafile: häufige Fragen
- Lohnt sich llamafile?
- Der einfachste Weg, jemandem ein funktionierendes lokales Modell in die Hand zu geben, aber weniger leistungsfähig als das llama.cpp, das es umhüllt. Wir bewerten es mit 3.9 von 5.
- Was kostet llamafile?
- Kostenlos und Open Source unter der Apache 2.0-Lizenz, mit MIT-lizenzierten Änderungen an llama.cpp.
- Welche Nachteile hat llamafile?
- 4 GB Grenze für ausführbare Dateien unter Windows; Keine Sandbox mit aktivierter GPU oder auf macOS und Windows; Stiller Rückfall auf die CPU, wenn ein GPU-Backend scheitert; Der Neubau mit 0.10 hat einige Funktionen von 0.9 verloren.
- Für wen eignet sich llamafile?
- Leute, die ein lokales Modell ohne jede Einrichtung teilen oder ausführen müssen, auch offline.
- Was kostet llamafile für ein Team oder im Produktivbetrieb?
- Kostenlos, ohne bezahlte Edition von Mozilla.ai. Die Hardware ist, was immer das Modell ausführt: eine CPU mit x86-64 und AVX oder ARMv8 mit genug RAM für die Gewichte, optional eine GPU mit Metal, CUDA, ROCm oder Vulkan.
- Ist llamafile sicher für Firmendaten?
- Läuft lokal; die Doku erwähnt keine Telemetrie, und eine GitHub-Codesuche findet keinen Telemetrie-Code. Der Server-Modus unter Linux blockiert ausgehende Verbindungen und Schreibzugriffe, aber GPU-Modus, macOS, Windows und der standardmäßige kombinierte Modus laufen ohne Sandbox, und ein llamafile aus einer nicht vertrauenswürdigen Quelle kann die Sandbox entfernen.
- Was sind die besten Alternativen zu llamafile?
- Die nächsten Alternativen, die wir getestet haben, sind llama.cpp und Ollama.
Antworten geprüft am 26. Okt. 2026.