Die besten Open-Source-Tools, um LLMs lokal auszuführen 2026

Open-Source-Tools, um LLMs lokal auszuführen: Von 17 getesteten Angeboten liegen derzeit llama.cpp, vLLM und Ollama vorn. Alle sind nach unserer Bewertung sortiert, mit Preis, unserem Fazit und für wen sie sich eignen.

Von Sheela · Aktualisiert am 31. Okt. 2026 · So testen wir

So ist das Ranking entstanden: nach unserer Bewertung (maximal 5 Punkte), aus Tests auf Grundlage der Preise, Dokumentation und Richtlinien des jeweiligen Produkts sowie unabhängiger Benchmarks, wo es sie gibt, jeweils geprüft an dem im Test genannten Datum. Wir erhalten keine Affiliate-Provisionen.

1
llama.cpp
Wenn ein offenes Modell auf einem Laptop läuft, dann fast sicher über llama.cpp, und nichts anderes deckt so viel Hardware ab.
Am besten für: Entwickler, die direkte Kontrolle darüber wollen, wie offene Modelle lokal, auf Edge-Geräten oder auf bescheidenen Servern laufen.
Preis: Kostenlos und Open Source unter der MIT-Lizenz. Keine bezahlte Edition.
Unseren Test von llama.cpp lesen
4.8/5
2
vLLM
Weiterhin die Engine, um ein offenes Modell hinter eine API für viele Nutzer zu stellen, vorausgesetzt, jemand im Team kümmert sich um ihre Upgrades und ihre Erreichbarkeit im Netz.
Am besten für: Teams, die offene Modelle auf GPU-Servern an viele gleichzeitige Nutzer ausliefern.
Preis: Kostenlos und Open Source unter der Apache-2.0-Lizenz. Du zahlst für die GPUs, auf denen es läuft.
Unseren Test von vLLM lesen
4.7/5
3
Ollama
Lokale Modelle mit einem Befehl, mit Voreinstellungen (4.096 Token Kontext, eine Anfrage nach der anderen, kein Login), die zu einem Laptop passen und zu nichts Größerem.
Am besten für: Entwickler und Einzelpersonen, die offene Modelle mit minimalem Aufwand lokal betreiben wollen.
Preis: Open Source (MIT) und lokal kostenlos. Optional Ollama Cloud: Free mit Startguthaben; Pro 20 $/Monat (60 $ Guthaben); Max 100 $/Monat (300 $ Guthaben); Team 500 $/Monat (1.000 $ geteiltes Guthaben, unbegrenzte Nutzer); Enterprise nach Vereinbarung.
Unseren Test von Ollama lesen
4.6/5
4
MLX
MLX macht aus einem Mac mit viel Arbeitsspeicher eine glaubwürdige Maschine für lokale Inferenz und LoRA-Tuning; abseits von Apple Silicon ist es eine Portierung und kein Grund zum Wechseln.
Am besten für: Entwickler und Forscher auf dem Mac, die native Geschwindigkeit und Kontrolle über Python auf Apple Silicon wollen.
Preis: Kostenlos und Open Source unter der MIT-Lizenz.
Unseren Test von MLX lesen
4.4/5
5
SGLang
SGLang ist für Agenten- und RL-Workloads gebaut, die dieselben langen Prompts immer wieder senden, und gehört hinter ein abgeschottetes Netzwerk.
Am besten für: Teams, die offene Modelle mit starker Wiederverwendung von Prompts bereitstellen, etwa für Agenten und mehrstufigen Chat.
Preis: Kostenlos und Open Source unter der Apache-2.0-Lizenz.
Unseren Test von SGLang lesen
4.4/5
6
audio.cpp
audio.cpp leistet für lokale Sprachverarbeitung, was llama.cpp für Chatmodelle geleistet hat, und betreibt nach vier Monaten bereits mehr als 110 Modellfamilien.
Am besten für: Engineers, die mehrere Sprach- oder Audiomodelle selbst hosten und eine native Runtime mit HTTP-API statt einer Python-Umgebung pro Modell wollen.
Preis: Kostenlos unter Apache 2.0. Keine bezahlte Edition. Modellgewichte behalten ihre eigenen Lizenzen, viele davon nicht kommerziell.
Unseren Test von audio.cpp lesen
4.3/5
7
colibri
Eine in C geschriebene Engine, die von der Festplatte streamt und offene Modelle mit 744B Parametern auf einem Desktop-Rechner laufen lässt, langsam, und nebenbei einen ehrlichen lokalen Ersatz für die Jev-Entscheidungs-API bietet.
Am besten für: Enthusiasten und Entwickler, die offene MoE-Modelle in Frontier-Größe auf dem eigenen Rechner ausführen oder Entscheidungen im Stil von Jev prototypisch testen wollen.
Preis: Kostenlos und Open Source (Apache 2.0). Jedes Modell behält seine eigene Lizenz.
Unseren Test von colibri lesen
4.2/5
8
Strata
Ein wirklich cleverer Weg, ein Modell mit 125B Parametern auf einer Grafikkarte mit 12 GB zu betreiben, solange du 64 GB RAM hast und mit einem Ein-Personen-Projekt leben kannst, das sich jede Woche ändert.
Am besten für: Besitzer einer Grafikkarte mit 12 bis 24 GB und 64 GB oder mehr RAM, die ein großes offenes Modell für Coding-Agenten auf dem eigenen Rechner wollen.
Preis: Kostenlos und Open Source unter der MIT-Lizenz; finanziert durch Spenden. Modelldateien haben eigene Lizenzen (Qwen3.8-Flash-Next nutzt die Qwen Community License 1.0).
Unseren Test von Strata lesen
4.0/5
9
TensorRT-LLM
Bei TensorRT-LLM bekommt neue NVIDIA-Hardware ihre ersten ernsthaften Optimierungen, der Preis dafür sind eine lange CVE-Liste und stabile Releases, deren Takt sich in Jahreszeiten bemisst.
Am besten für: Teams mit großen NVIDIA-GPU-Flotten, die maximalen Durchsatz pro GPU wollen.
Preis: Kostenlos und Open Source unter der Apache-2.0-Lizenz (einige mitgelieferte Komponenten haben eigene Lizenzen).
Unseren Test von TensorRT-LLM lesen
4.0/5
10
AnyJev
Sorgfältiger Forschungscode, der ehrliche Wahrscheinlichkeiten aus dem offenen Modell holt, das du ohnehin betreibst, mit Leaderboard-Ergebnissen, die die Betreiber des Boards selbst gemessen haben.
Am besten für: ML-Engineers, die bereits ein offenes Modell auf vLLM betreiben und kalibrierte Klassifikations- und Routing-Entscheidungen wollen, ohne einen separaten Klassifikator zu trainieren.
Preis: Kostenlos und Open Source unter Apache-2.0, einschließlich der Tacit-Modellgewichte. Die GPU stellst du.
Unseren Test von AnyJev lesen
3.9/5
11
llamafile
Der einfachste Weg, jemandem ein funktionierendes lokales Modell in die Hand zu geben, aber weniger leistungsfähig als das llama.cpp, das es umhüllt.
Am besten für: Leute, die ein lokales Modell ohne jede Einrichtung teilen oder ausführen müssen, auch offline.
Preis: Kostenlos und Open Source unter der Apache 2.0-Lizenz, mit MIT-lizenzierten Änderungen an llama.cpp.
Unseren Test von llamafile lesen
3.9/5
12
Mesh LLM
Ein ernsthafter Versuch, eine Schublade voller unterschiedlicher GPUs zu einem Endpunkt zu machen, an den Rändern noch rau und ehrlich darin, dass es experimentell ist.
Am besten für: Homelab-Besitzer und kleine Teams mit mehreren GPU-Rechnern, die einen lokalen Endpunkt wollen und mit experimenteller verteilter Software zurechtkommen.
Preis: Kostenlos und Open Source (Apache-2.0). Keine kostenpflichtige Edition; die Hardware stellst du.
Unseren Test von Mesh LLM lesen
3.9/5
13
DeepInfer
Ein seltener Blick ins Innere eines LLM-Dienstes in Produktion, aber vorerst eine Referenz-Engine für ein Modell auf zwei Chipfamilien und nichts, was man hinter eine API stellt.
Am besten für: Inferenz-Engineers, die DeepSeek-V4.1-Flash im Cluster-Maßstab betreiben und DeepSeeks Kernels und Einstellungen als Referenz wollen.
Preis: Kostenlos und Open Source unter der Lizenz Apache 2.0. Du bezahlst für Blackwell-GPUs oder Ascend-NPUs.
Unseren Test von DeepInfer lesen
3.6/5
14
edge0
Ein sorgfältiger, gut dokumentierter Weg, ein 35B-Modell auf einen Mac mit 24 GB oder ein Handy zu bringen, aber es läuft nur mit zwei Preview-Modellen nach Wahl der Macher, und fast jede Geschwindigkeitsangabe stammt von ihnen selbst.
Am besten für: Nutzer von Apple Silicon mit 16 bis 24 GB, die ein Modell der 35B-Klasse lokal wollen, und Mobile-Entwickler, die Chat auf dem Gerät mit aktuellen Handys testen und Preview-Modelle in Kauf nehmen.
Preis: Kostenlos und quelloffen unter Apache 2.0, Modelle eingeschlossen. Keine kostenpflichtige Edition.
Unseren Test von edge0 lesen
3.6/5
15
Janas
Es führt tatsächlich ein 80B-Modell auf einem Laptop mit 32 GB aus, aber die großen Vorsprünge vor llama.cpp stammen vom Autor selbst, und das Ganze ist das Experiment einer einzelnen Person.
Am besten für: Nutzer auf x86-64, die ein Mixture-of-Experts-Modell größer als ihren RAM wollen, etwa Qwen3-Next-80B auf einem Laptop mit 32 GB, und experimentelle Software in Kauf nehmen.
Preis: Kostenlos und quelloffen unter GPL-3.0 oder später. Keine kostenpflichtige Edition.
Unseren Test von Janas lesen
3.6/5
16
Laya
Durchdachte Infrastruktur rund um kleine Entscheidungsmodelle, die erst genau werden, wenn du sie auf deine eigenen Labels feinabstimmst.
Am besten für: Entwickler, die ein kleines Entscheidungsmodell auf eigenen Daten feinabstimmen wollen und einen fertigen Router, Server und Trainingsablauf suchen.
Preis: Kostenlos und Open Source (Apache 2.0), einschließlich der Modellgewichte.
Unseren Test von Laya lesen
3.6/5
17
Magnitude
Eine kluge Idee mit echtem Tempo auf manchen Rechnern, aber die Schlagzeile mit doppelter Geschwindigkeit ist die eigene Messung des Unternehmens und hat sich nicht auf der Hardware jedes Nutzers bestätigt.
Am besten für: Entwickler auf Apple Silicon oder aktuellen NVIDIA-Karten, die mit wenig Einrichtung ein schnelles lokales Modell hinter einem Coding-Agenten wollen.
Preis: Kostenlos und Open Source unter Apache-2.0. Eine bezahlte Edition ist nicht dokumentiert; die Modelllizenzen sind separat.
Unseren Test von Magnitude lesen
3.6/5