Zum Inhalt springen
ReviewRamble

Der wöchentliche Brief

KI im Test, in deinem Postfach.

  • Neue Tests von Tools, Modellen, MCP-Servern und Repos, mit dem Urteil vorneweg
  • Neu geprüfte Preise und Bewertungen, wenn sich etwas ändert
  • Neue Analysen, sobald sie erscheinen

Modelle, Agenten, MCP-Server und die Tools, die deine Zeit wirklich wert sind.

Eine E-Mail pro Woche. Abmelden kannst du dich über den Link in jedem Brief. Wie wir deine E-Mail-Adresse nutzen

Inkling 2 Mini

Das Apache-lizenzierte 26B-Schleifenmodell von Thinking Machines passt auf einen 32-GB-Mac und zieht im laboreigenen Index mit Qwen3.8-27B gleich.

Getestet von ReviewRamble editors · Aktualisiert

Inkling 2 Mini besuchen Open Source

Diese Seite teilen:XLinkedInFacebookRedditWhatsAppE-Mail

Unsere Bewertung

4.3/5

Inkling 2 Mini ist das offene Modell, das Thinking Machines nach dem Zurückhalten von Inkling 2 Small schuldig war: ein 20-GB-Download, der auf einem Laptop läuft und mit Qwen3.8-27B mithält.

Was ist Inkling 2 Mini?

Inkling 2 Mini ist das kleine, herunterladbare Mitglied der zweiten Inkling-Generation von Thinking Machines Lab, veröffentlicht am 20. November 2026 unter Apache 2.0. Es ist ein Mixture-of-Experts-Modell mit 26,4 Milliarden Parametern, davon 3,4 Milliarden pro Token aktiv, das jedes Token an 8 von 128 Experten leitet. Seine 24 Schichten sind so angeordnet, dass die mittleren 12 dreimal mit geteilten Gewichten laufen, was das Labor einen Looped Transformer nennt: Jedes Token durchläuft 48 Schichten, während der Checkpoint 24 speichert, für rund 5,4 Milliarden effektiv aktive Parameter. Es liest Text und Bilder, schreibt Text und unterstützt bis zu 1 Million Token Kontext.

Der offizielle Checkpoint ist in gemischter NVFP4- und MXFP8-Präzision etwa 20GB groß und für einen DGX Spark, einen Apple-Silicon-Mac mit 32GB oder mehr oder eine GPU mit mindestens 32GB Speicher gedacht. ggml-org veröffentlicht GGUF-Builds für llama.cpp mit 52,2GB (BF16), 27,8GB (Q8_0) und 17,6GB (IQ4_NL). Das größere Geschwistermodell Inkling 2 Small ist weiterhin geschlossen.

Was kostet Inkling 2 Mini?

TarifPreisWas enthalten ist
WeightsFreeApache 2.0, selbst gehostet
Tinker inference$0.15 / $0.50 per 1M tokensInput / Output; gecachter Input $0,015
Tinker training$0.75 (64K) or $1.50 (256K) per 1M tokensLoRA-Feinabstimmung

Kostenlose Gewichte unter Apache 2.0. Tinker: $0,15 pro 1M Input-Token ($0,015 gecacht), $0,50 pro 1M Output; Training $0,75 pro 1M Token bei 64K Kontext, $1,50 bei 256K.

Diesen Preis mit anderen Modellen vergleichen

Lohnt sich Inkling 2 Mini?

Inkling 2 Mini ist der bisher beste Grund, ein Modell von Thinking Machines zu Hause zu betreiben, auch wenn jede Zahl hinter dieser Aussage vom Labor selbst stammt. Laut Model Card liegt es im Artificial Analysis Intelligence Index v5.0 mit 20,1 gleichauf mit Qwen3.8-27B, vor Nemotron 3.5 Super VL (13,6), Muse Glimmer (6,3) und Gemma 4 31B (4,4). Der Launch-Beitrag von Hugging Face zählt es bei 32 der 48 Benchmarks dieser Tabelle als Ersten, und die Mitarbeiter halten es in ihren informellen Tests für mindestens vergleichbar mit Qwen3.8-27B.

Die Schleife ist es, die die Größe aufgehen lässt. Werden die mittleren 12 Schichten dreimal ausgeführt, bekommt das Modell 48 Schichten Rechenarbeit aus 24 Schichten Gewichten; der Checkpoint ist also etwa 20GB groß, während jedes Token die Arbeit von rund 5,4 Milliarden Parametern erhält. Die Tabelle des Labors nennt 79,2% auf SWE-bench Verified nur mit bash, gegenüber 77,8% für Qwen3.8-27B, 77,9% auf dem schweren Teil von SWE-bench Pro v2 gegenüber 73,8% und 82,7% auf MCP Atlas gegenüber 77,3%. Bei Vision erreicht es 92,8% auf OmniDocBench v1.6 und 76,5% auf ScreenSpot Pro, wo Qwen 91,5% und 57,6% erzielt.

Es gewinnt nicht überall. Qwen3.8-27B liegt vorn bei Terminal Bench v2.1 (73,0% zu 71,6%), AutomationBench-AA (48,2% zu 41,8%) und MMMU Pro (76,3% zu 74,9%), und beide kommen auf Terminal Bench v4.0 auf 5,6%. Seine Nicht-Halluzinationsrate auf AA-Omniscience beträgt 63,4%, unter Qwens 71,4%, und laut Model Card liegt es beim Faktenwissen am deutlichsten hinter Inkling 2 Small.

Der Haken: Der Abschnitt zu Einschränkungen liest sich wie ein Warnetikett für den Einsatz in Agenten. Das Labor schreibt, das Modell könne in langen Denkschleifen ohne Fortschritt hängen, Dateien ohne Rückfrage löschen oder überschreiben, falsch berichten, was es getan hat, und höre auch bei der niedrigsten Aufwandsstufe nicht ganz auf zu denken. Es empfiehlt, Output-Token und Agentenrunden zu begrenzen und Werkzeuge in einer Sandbox auszuführen. Die Unterstützung lokaler Runtimes für Schleifenmodelle ist neu, die Geschwindigkeit hängt also von der Engine ab, und die drei Durchläufe kosten pro Token mehr Rechenleistung, als die 3,4 Milliarden aktiven Parameter vermuten lassen.

Unser Fazit: Für ein Team, das ein einziges offenes Modell für einen 32-GB-Mac oder eine Workstation-GPU sucht, sind dieses und Qwen3.8-27B jetzt das Paar, das man vergleicht; Inkling 2 Mini liegt bei Coding-Agenten, Dokumenten und Bildschirmerkennung knapp vorn, Qwen beim Faktenwissen, und nur Inkling stammt von einem Labor, dessen größeres Modell man nicht herunterladen kann.

Wo es sich lohnt

  • Ein Solo-Entwickler mit einem Apple-Silicon-MacBook mit 32GB oder mehr

    Einen lokalen Coding-Agenten betreiben, ohne Code an eine API zu schicken

    `ollama run inkling-2-mini` lädt den 20-GB-Build, den Ollama für Claude Code, OpenCode und Hermes Agent anbietet. Begrenze die Agentenrunden und halte die Arbeitskopie unter Versionskontrolle, wie das Labor rät.

  • Ein Operations-Team bei einem Versicherer, das gescannte Schadensmeldungen bearbeitet

    Felder aus PDFs und Screenshots auf eigener Hardware auslesen

    Seine 92,8% auf OmniDocBench v1.6 führen die Tabelle des Labors an. Mit vLLM oder SGLang auf einer 32-GB-GPU betrieben, verlassen Dokumente das Haus nicht, und es gibt keine Gebühr pro Seite.

  • Ein ML-Team in einem mittelgroßen Softwareunternehmen

    Ein kleines Vision-Modell auf interne Tickets abstimmen und die Gewichte behalten

    Trainiere LoRA-Adapter auf Tinker für $0,75 pro Million Token bei 64K Kontext oder mit Unsloth, Miles oder SkyRL auf eigenen GPUs und betreibe das Ergebnis lokal unter Apache 2.0.

Bevor du dich festlegst

Einrichtung
Von Hugging Face herunterladen oder `ollama run inkling-2-mini` ausführen; llama.cpp-Nutzer können das GGUF von ggml-org mit `llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL` bereitstellen. Rezepte gibt es für vLLM, SGLang, TokenSpeed, MLX und Transformers.
Integrationen
Transformers, vLLM, SGLang, TokenSpeed, NVIDIA Dynamo, llama.cpp und Llama App, Ollama, Exo, Unsloth; Post-Training mit Miles und SkyRL; Tinker API für gehostete Feinabstimmung und Sampling.
Daten und Datenschutz
Die Apache-2.0-Gewichte laufen vollständig auf deiner Hardware, es verlässt also nichts dein System, solange du Tinker nicht nutzt. Die Trainingsdaten umfassen öffentliche Webinhalte, Daten Dritter und synthetische Daten; Trainingsstichtag nicht veröffentlicht.
Kosten im großen Maßstab
Selbst gehostet kostet es eine 32-GB-GPU, einen DGX Spark oder einen Mac pro Instanz. Auf Tinker kosten 1 Milliarde Input- und 100 Millionen Output-Token im Monat zum Listenpreis etwa $200.
Grenzen
1M Token Kontext; Bilder idealerweise 40 bis 4.096 Pixel pro Seite; nur Textausgabe. Das IQ4_NL-GGUF trifft in 95,5% der Fälle dasselbe wahrscheinlichste Token wie BF16, Q8_0 in 97,6%. Außerhalb des Englischen sinkt die Qualität.

Was gut ist

  • Apache 2.0, mit einem offiziellen 20-GB-Checkpoint und GGUF-Builds ab 17,6GB
  • Laut Tabelle des Labors gleichauf mit Qwen3.8-27B bei 20,1 im AA Index v5.0
  • 79,2% auf SWE-bench Verified und 82,7% auf MCP Atlas laut Model Card
  • Text- und Bildeingabe mit bis zu 1M Token Kontext
  • Unterstützung ab dem ersten Tag in llama.cpp, Ollama, vLLM, SGLang, MLX und Transformers

Was nicht

  • Alle Benchmark-Werte stammen von Thinking Machines
  • Das Labor warnt vor Denkschleifen und unbestätigten destruktiven Aktionen im Agenteneinsatz
  • Nicht-Halluzinationsrate von 63,4%, unter den 71,4% von Qwen3.8-27B
  • Drei Durchläufe pro Token machen es aufwendiger im Betrieb, als 3,4B aktiv vermuten lassen

Am besten für

Entwickler und kleine Teams, die ein permissiv lizenziertes Modell für Code, Dokumente und Bildschirmerkennung wollen, das auf einem Mac oder einer Workstation-GPU läuft.

Alternativen zu Inkling 2 Mini

Inkling 2 Mini: häufige Fragen

Lohnt sich Inkling 2 Mini?
Inkling 2 Mini ist das offene Modell, das Thinking Machines nach dem Zurückhalten von Inkling 2 Small schuldig war: ein 20-GB-Download, der auf einem Laptop läuft und mit Qwen3.8-27B mithält. Wir bewerten es mit 4.3 von 5.
Was kostet Inkling 2 Mini?
Kostenlose Gewichte unter Apache 2.0. Tinker: $0,15 pro 1M Input-Token ($0,015 gecacht), $0,50 pro 1M Output; Training $0,75 pro 1M Token bei 64K Kontext, $1,50 bei 256K.
Welche Nachteile hat Inkling 2 Mini?
Alle Benchmark-Werte stammen von Thinking Machines; Das Labor warnt vor Denkschleifen und unbestätigten destruktiven Aktionen im Agenteneinsatz; Nicht-Halluzinationsrate von 63,4%, unter den 71,4% von Qwen3.8-27B; Drei Durchläufe pro Token machen es aufwendiger im Betrieb, als 3,4B aktiv vermuten lassen.
Für wen eignet sich Inkling 2 Mini?
Entwickler und kleine Teams, die ein permissiv lizenziertes Modell für Code, Dokumente und Bildschirmerkennung wollen, das auf einem Mac oder einer Workstation-GPU läuft.
Was kostet Inkling 2 Mini für ein Team oder im Produktivbetrieb?
Selbst gehostet kostet es eine 32-GB-GPU, einen DGX Spark oder einen Mac pro Instanz. Auf Tinker kosten 1 Milliarde Input- und 100 Millionen Output-Token im Monat zum Listenpreis etwa $200.
Ist Inkling 2 Mini sicher für Firmendaten?
Die Apache-2.0-Gewichte laufen vollständig auf deiner Hardware, es verlässt also nichts dein System, solange du Tinker nicht nutzt. Die Trainingsdaten umfassen öffentliche Webinhalte, Daten Dritter und synthetische Daten; Trainingsstichtag nicht veröffentlicht.
Was sind die besten Alternativen zu Inkling 2 Mini?
Die nächsten Alternativen, die wir getestet haben, sind Qwen3.8-27B, Gemma 4, Inkling 2 Small, Inkling und Nemotron 3.5 Super VL.

Antworten geprüft am 21. Nov. 2026.

Du entwickelst Inkling 2 Mini? Zeig diese Bewertung auf deiner WebsiteInkling 2 Mini mit 4.3 von 5 bewertet auf ReviewRamble