Die besten kleinen und On-Device-KI-Modelle 2026

kleinen und On-Device-KI-Modelle: Von 14 getesteten Angeboten liegen derzeit Gemma 4, Ministral 3 (3B, 8B and 14B) und LFM3 vorn. Alle sind nach unserer Bewertung sortiert, mit Preis, unserem Fazit und für wen sie sich eignen.

Von Andrew Miller · Aktualisiert am 2. Nov. 2026 · So testen wir

So ist das Ranking entstanden: nach unserer Bewertung (maximal 5 Punkte), aus Tests auf Grundlage der Preise, Dokumentation und Richtlinien des jeweiligen Produkts sowie unabhängiger Benchmarks, wo es sie gibt, jeweils geprüft an dem im Test genannten Datum. Wir erhalten keine Affiliate-Provisionen.

1
Gemma 4
Gemma 4 ist jetzt die Standardfamilie unter den offenen Modellen unter 32B Parametern, weil seine Lizenz endlich zu seiner Qualität passt.
Am besten für: Entwickler, die Apps auf dem Gerät, lokal oder auf einer einzelnen GPU bauen und eine freizügige Lizenz und multimodale Eingabe wollen.
Preis: Kostenlose Gewichte unter Apache 2.0. Gehostet bei Google Cloud und Drittanbietern; OpenRouter listet 31B für 0,20 $/0,40 $ und 26B A4B für etwa 0,08 $/0,26 $ pro 1 Mio. Tokens.
Unseren Test von Gemma 4 lesen
4.4/5
2
Ministral 3 (3B, 8B and 14B)
Eine vollständige Familie kleiner Modelle unter einer sauberen Lizenz, mit Reasoning und Vision in jeder Größe; Qwen liegt in mehreren von Mistrals eigenen Vergleichen trotzdem knapp vorn.
Am besten für: Teams, die ein kleines, freizügig lizenziertes Modell mit Vision für Laptops, Edge-Geräte oder günstige gehostete Inferenz brauchen.
Preis: Offene Gewichte unter Apache 2.0. Mistral API: 14B 0,20 $, 8B 0,15 $, 3B 0,10 $ pro 1 Mio. Tokens, gleich für Input und Output; Batch zum halben Preis.
Unseren Test von Ministral 3 (3B, 8B and 14B) lesen
4.1/5
3
LFM3
Sechs fähige Modelle mit 2B Parametern, jedes etwa ein Gigabyte groß, von Agenten über Sprache bis zu typisierten Entscheidungen, unter einer Lizenz, die weiterhin bei 10 Millionen $ Umsatz endet.
Am besten für: Entwickler und Unternehmen unter 10 Millionen $ Umsatz, die Agenten auf dem Gerät, Sprachfunktionen oder schnelle Klassifikatoren bauen, die auf einem Smartphone, einem Laptop oder einer einzelnen GPU laufen müssen.
Preis: Kostenlose Gewichte unter der LFM Open License (kommerzielle Nutzung nur unter 10 Mio. $ Jahresumsatz). Liquid API, laut VentureBeat aus der angemeldeten Konsole: LFM3-1.7B 0,08 $ Input / 0,20 $ Output pro 1 Mio. Tokens; VL 0,10 $ / 0,50 $; Audio und Omni 0,10 $ / 1,00 $ plus Audio-Tokens. Gehostete d1-Entscheidungen 0,02 $ pro 1 Mio. Input-Tokens, Output kostenlos.
Unseren Test von LFM3 lesen
4.0/5
4
MiniCPM5-2B
Ein 2B-Modell, das Tools aufruft und Code flickt wie ein 4B-Modell und spürbar weniger weiß als eines.
Am besten für: Entwickler, die Helfer für Tool-Aufrufe oder Programmierung auf Smartphones, Laptops und Edge-Hardware bringen, und Forschende, die vollständig dokumentiertes Training kleiner Modelle wollen.
Preis: Kostenlose Gewichte und Trainingsdaten unter Apache 2.0.
Unseren Test von MiniCPM5-2B lesen
4.0/5
5
Ternary Bonsai 2 9B
Bonsai 2 9B bringt ein fähiges Vision-Modell mit neun Milliarden Parametern in den Speicher eines Handys und zahlt den Preis dafür größtenteils bei reasoning-lastiger Arbeit.
Am besten für: Entwickler, die einen lokalen Assistenten oder Coding-Helfer auf Handys, Laptops oder GPUs mit 6 GB ausliefern, wo der Speicher mehr zählt als die letzten Punkte beim Reasoning.
Preis: Kostenlos unter Apache 2.0. Gehostet in der Darkbloom-Konsole; Preise nicht veröffentlicht.
Unseren Test von Ternary Bonsai 2 9B lesen
4.0/5
6
Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB)
Das 74B bringt einen Top-5-Wert unter den Modellen unter 100B auf eine einzelne Workstation-GPU, aber die 24GB im Namen sind ein Budget für die Gewichte, nicht die Karte, die du brauchst.
Am besten für: Entwickler mit einer NVIDIA-GPU ab 32 GB oder einem RTX bzw. DGX Spark, die ein leistungsfähiges lokales multimodales Agentenmodell wollen, sowie Gerätehersteller, die Sprachassistenten auf Jetson oder RTX bauen.
Preis: Kostenlose offene Gewichte unter OpenMDW-1.1. Für keines der beiden Modelle ist ein nutzungsabhängiger API-Preis veröffentlicht; für E4B gibt es einen Endpunkt auf build.nvidia.com.
Unseren Test von Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB) lesen
3.9/5
7
gpt-oss-20b
Vierzehn Monate später ist gpt-oss-20b noch immer das günstigste brauchbare Reasoning-Modell zum Hosten, doch Gemma 4 leistet in denselben 16 GB inzwischen mehr.
Am besten für: Entwickler, die ein kostenloses, privates und schnelles Reasoning-Modell auf einem Laptop oder einer einzelnen Consumer-GPU wollen und keine Bildeingabe brauchen.
Preis: Kostenlose Gewichte unter Apache 2.0. Gehostet ab 0,018 $ Input / 0,09 $ Output pro 1 Mio. Tokens auf OpenRouter; Artificial Analysis listet 0,07 $ / 0,25 $.
Unseren Test von gpt-oss-20b lesen
3.8/5
8
LFM2.5-24B-A2B
Ein Agentenmodell in Laptopgröße, das Qwen3.6-35B-A3B in Tool-Tests übertrifft, gebremst durch eine Lizenz, die bei 10 Millionen $ Umsatz endet.
Am besten für: Entwickler und kleinere Unternehmen, die Agenten mit Tool-Aufrufen auf Laptops oder einzelnen GPUs betreiben und unter der Umsatzgrenze von 10 Millionen $ liegen oder eine gehostete API nutzen.
Preis: Kostenlose Gewichte unter der LFM Open License (kommerzielle Nutzung nur unter 10 Mio. $ Jahresumsatz). Liquid Console: 0,10 $ Input / 1,00 $ Output pro 1 Mio. Tokens; OpenRouter: 0,05 $ / 0,70 $.
Unseren Test von LFM2.5-24B-A2B lesen
3.8/5
9
humanizer (12B)
Ungewöhnlich gut dokumentiert und besser im Erhalten von Fakten als ein Prompt, doch jede zehnte englische Umschreibung ändert noch etwas, und der Hauptwert beruht auf einem Detektor, der sich morgen ändern kann.
Am besten für: Menschen, die mit KI entwerfen und wollen, dass das Ergebnis nach ihrem eigenen Stil klingt, auf dem eigenen Rechner, und die Zahlen und Namen vor dem Absenden gegenlesen.
Preis: Kostenlos unter Apache 2.0: Gewichte, GGUF-Dateien, Desktop-App und CLI. Kein gehosteter Dienst.
Unseren Test von humanizer (12B) lesen
3.7/5
10
Spark-X2.6-4B
Nach iFlyteks eigenem Diagramm ist Spark-X2.6-4B das bisher stärkste Agent-Modell mit 4B, doch nichts davon wurde extern geprüft, und zwei seiner größten Siege stammen aus Benchmarks, die nur iFlytek kennt.
Am besten für: Entwickler, die lokale Agenten auf Laptops oder Edge-Geräten bauen, die Angaben an eigenen Aufgaben prüfen können und ein Modell von iFlytek nutzen dürfen.
Preis: Kostenlos unter Apache 2.0; läuft auf deiner eigenen Hardware. Kein gehosteter Preis für das 4B-Modell veröffentlicht.
Unseren Test von Spark-X2.6-4B lesen
3.7/5
11
Limite 1B - Violetto
Bemerkenswerte Mathematik pro Parameter, nutzlos außerhalb der Mathematik und bislang nur von seinen eigenen Entwicklern bewertet.
Am besten für: Forscher und Bildungstechnik-Teams, die viele Lösungen für Wettbewerbsmathematik günstig brauchen und Antworten automatisch prüfen können.
Preis: Kostenlose offene Gewichte unter Apache 2.0. Keine gehostete API; du zahlst nur für deine eigene GPU.
Unseren Test von Limite 1B - Violetto lesen
3.6/5
12
Needle 3
Ein glaubwürdiges Modell für Handybefehle in einer Größe, die sonst nichts erreicht, verkauft mit einem breiteren Anspruch, als seine eigenen Diagramme stützen.
Am besten für: Geräte- und App-Hersteller mit einem festen, kleinen Satz an Aktionen, die ein Modell für den Offline-Betrieb auf sehr begrenzter Hardware feinabstimmen werden.
Preis: Kostenlose offene Gewichte unter Apache 2.0; vorkompilierte Engines kostenlos herunterladbar. Die Cactus Platform verkauft 2-Bit-Post-Training, Datensätze und vollständige Feinabstimmungen; Preise nicht veröffentlicht.
Unseren Test von Needle 3 lesen
3.6/5
13
Underdog Saluki 27B 1.0
Das 2-Bit-Qwen3.8-27B für Fälle, in denen Tool Calling wichtiger ist als Mathematik, solange du Underdogs Werte als Versprechen und nicht als Messung behandelst.
Am besten für: Entwickler, die einen lokalen Tool-Calling-Agenten auf einem Laptop mit 16 GB oder einer einzelnen Consumer-GPU betreiben und Abstriche bei Mathematik und Reasoning hinnehmen.
Preis: Kostenlose Gewichte unter Apache 2.0. Kein Preis für eine gehostete API; du zahlst für deine eigene Hardware oder nutzt es in der Underdog-App.
Unseren Test von Underdog Saluki 27B 1.0 lesen
3.6/5
14
SmolLM3-3B
SmolLM3 ist eher ein Trainingslauf hinter Glas als ein Produkt: unübertroffen, um zu lernen, wie ein 3B-Modell entsteht, aber überholt, wenn du eins ausliefern willst.
Am besten für: Forschende und Lehrende, die ein kleines, vollständig reproduzierbares Modell untersuchen oder feintunen wollen.
Preis: Kostenlose Gewichte unter Apache 2.0, mit veröffentlichtem Rezept für die Trainingsdaten und Checkpoints. Keine gehostete API bei Hugging Faces eigenen Inference Providers.
Unseren Test von SmolLM3-3B lesen
3.5/5