Was ist Inkling 2 Mini?
Inkling 2 Mini ist das kleine, herunterladbare Mitglied der zweiten Inkling-Generation von Thinking Machines Lab, veröffentlicht am 20. November 2026 unter Apache 2.0. Es ist ein Mixture-of-Experts-Modell mit 26,4 Milliarden Parametern, davon 3,4 Milliarden pro Token aktiv, das jedes Token an 8 von 128 Experten leitet. Seine 24 Schichten sind so angeordnet, dass die mittleren 12 dreimal mit geteilten Gewichten laufen, was das Labor einen Looped Transformer nennt: Jedes Token durchläuft 48 Schichten, während der Checkpoint 24 speichert, für rund 5,4 Milliarden effektiv aktive Parameter. Es liest Text und Bilder, schreibt Text und unterstützt bis zu 1 Million Token Kontext.
Der offizielle Checkpoint ist in gemischter NVFP4- und MXFP8-Präzision etwa 20GB groß und für einen DGX Spark, einen Apple-Silicon-Mac mit 32GB oder mehr oder eine GPU mit mindestens 32GB Speicher gedacht. ggml-org veröffentlicht GGUF-Builds für llama.cpp mit 52,2GB (BF16), 27,8GB (Q8_0) und 17,6GB (IQ4_NL). Das größere Geschwistermodell Inkling 2 Small ist weiterhin geschlossen.
Was kostet Inkling 2 Mini?
| Tarif | Preis | Was enthalten ist |
|---|---|---|
| Weights | Free | Apache 2.0, selbst gehostet |
| Tinker inference | $0.15 / $0.50 per 1M tokens | Input / Output; gecachter Input $0,015 |
| Tinker training | $0.75 (64K) or $1.50 (256K) per 1M tokens | LoRA-Feinabstimmung |
Kostenlose Gewichte unter Apache 2.0. Tinker: $0,15 pro 1M Input-Token ($0,015 gecacht), $0,50 pro 1M Output; Training $0,75 pro 1M Token bei 64K Kontext, $1,50 bei 256K.
Diesen Preis mit anderen Modellen vergleichen
Lohnt sich Inkling 2 Mini?
Inkling 2 Mini ist der bisher beste Grund, ein Modell von Thinking Machines zu Hause zu betreiben, auch wenn jede Zahl hinter dieser Aussage vom Labor selbst stammt. Laut Model Card liegt es im Artificial Analysis Intelligence Index v5.0 mit 20,1 gleichauf mit Qwen3.8-27B, vor Nemotron 3.5 Super VL (13,6), Muse Glimmer (6,3) und Gemma 4 31B (4,4). Der Launch-Beitrag von Hugging Face zählt es bei 32 der 48 Benchmarks dieser Tabelle als Ersten, und die Mitarbeiter halten es in ihren informellen Tests für mindestens vergleichbar mit Qwen3.8-27B.
Die Schleife ist es, die die Größe aufgehen lässt. Werden die mittleren 12 Schichten dreimal ausgeführt, bekommt das Modell 48 Schichten Rechenarbeit aus 24 Schichten Gewichten; der Checkpoint ist also etwa 20GB groß, während jedes Token die Arbeit von rund 5,4 Milliarden Parametern erhält. Die Tabelle des Labors nennt 79,2% auf SWE-bench Verified nur mit bash, gegenüber 77,8% für Qwen3.8-27B, 77,9% auf dem schweren Teil von SWE-bench Pro v2 gegenüber 73,8% und 82,7% auf MCP Atlas gegenüber 77,3%. Bei Vision erreicht es 92,8% auf OmniDocBench v1.6 und 76,5% auf ScreenSpot Pro, wo Qwen 91,5% und 57,6% erzielt.
Es gewinnt nicht überall. Qwen3.8-27B liegt vorn bei Terminal Bench v2.1 (73,0% zu 71,6%), AutomationBench-AA (48,2% zu 41,8%) und MMMU Pro (76,3% zu 74,9%), und beide kommen auf Terminal Bench v4.0 auf 5,6%. Seine Nicht-Halluzinationsrate auf AA-Omniscience beträgt 63,4%, unter Qwens 71,4%, und laut Model Card liegt es beim Faktenwissen am deutlichsten hinter Inkling 2 Small.
Der Haken: Der Abschnitt zu Einschränkungen liest sich wie ein Warnetikett für den Einsatz in Agenten. Das Labor schreibt, das Modell könne in langen Denkschleifen ohne Fortschritt hängen, Dateien ohne Rückfrage löschen oder überschreiben, falsch berichten, was es getan hat, und höre auch bei der niedrigsten Aufwandsstufe nicht ganz auf zu denken. Es empfiehlt, Output-Token und Agentenrunden zu begrenzen und Werkzeuge in einer Sandbox auszuführen. Die Unterstützung lokaler Runtimes für Schleifenmodelle ist neu, die Geschwindigkeit hängt also von der Engine ab, und die drei Durchläufe kosten pro Token mehr Rechenleistung, als die 3,4 Milliarden aktiven Parameter vermuten lassen.
Unser Fazit: Für ein Team, das ein einziges offenes Modell für einen 32-GB-Mac oder eine Workstation-GPU sucht, sind dieses und Qwen3.8-27B jetzt das Paar, das man vergleicht; Inkling 2 Mini liegt bei Coding-Agenten, Dokumenten und Bildschirmerkennung knapp vorn, Qwen beim Faktenwissen, und nur Inkling stammt von einem Labor, dessen größeres Modell man nicht herunterladen kann.
Wo es sich lohnt
Ein Solo-Entwickler mit einem Apple-Silicon-MacBook mit 32GB oder mehr
Einen lokalen Coding-Agenten betreiben, ohne Code an eine API zu schicken
`ollama run inkling-2-mini` lädt den 20-GB-Build, den Ollama für Claude Code, OpenCode und Hermes Agent anbietet. Begrenze die Agentenrunden und halte die Arbeitskopie unter Versionskontrolle, wie das Labor rät.
Ein Operations-Team bei einem Versicherer, das gescannte Schadensmeldungen bearbeitet
Felder aus PDFs und Screenshots auf eigener Hardware auslesen
Seine 92,8% auf OmniDocBench v1.6 führen die Tabelle des Labors an. Mit vLLM oder SGLang auf einer 32-GB-GPU betrieben, verlassen Dokumente das Haus nicht, und es gibt keine Gebühr pro Seite.
Ein ML-Team in einem mittelgroßen Softwareunternehmen
Ein kleines Vision-Modell auf interne Tickets abstimmen und die Gewichte behalten
Trainiere LoRA-Adapter auf Tinker für $0,75 pro Million Token bei 64K Kontext oder mit Unsloth, Miles oder SkyRL auf eigenen GPUs und betreibe das Ergebnis lokal unter Apache 2.0.
Bevor du dich festlegst
- Einrichtung
- Von Hugging Face herunterladen oder `ollama run inkling-2-mini` ausführen; llama.cpp-Nutzer können das GGUF von ggml-org mit `llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL` bereitstellen. Rezepte gibt es für vLLM, SGLang, TokenSpeed, MLX und Transformers.
- Integrationen
- Transformers, vLLM, SGLang, TokenSpeed, NVIDIA Dynamo, llama.cpp und Llama App, Ollama, Exo, Unsloth; Post-Training mit Miles und SkyRL; Tinker API für gehostete Feinabstimmung und Sampling.
- Daten und Datenschutz
- Die Apache-2.0-Gewichte laufen vollständig auf deiner Hardware, es verlässt also nichts dein System, solange du Tinker nicht nutzt. Die Trainingsdaten umfassen öffentliche Webinhalte, Daten Dritter und synthetische Daten; Trainingsstichtag nicht veröffentlicht.
- Kosten im großen Maßstab
- Selbst gehostet kostet es eine 32-GB-GPU, einen DGX Spark oder einen Mac pro Instanz. Auf Tinker kosten 1 Milliarde Input- und 100 Millionen Output-Token im Monat zum Listenpreis etwa $200.
- Grenzen
- 1M Token Kontext; Bilder idealerweise 40 bis 4.096 Pixel pro Seite; nur Textausgabe. Das IQ4_NL-GGUF trifft in 95,5% der Fälle dasselbe wahrscheinlichste Token wie BF16, Q8_0 in 97,6%. Außerhalb des Englischen sinkt die Qualität.
Was gut ist
- Apache 2.0, mit einem offiziellen 20-GB-Checkpoint und GGUF-Builds ab 17,6GB
- Laut Tabelle des Labors gleichauf mit Qwen3.8-27B bei 20,1 im AA Index v5.0
- 79,2% auf SWE-bench Verified und 82,7% auf MCP Atlas laut Model Card
- Text- und Bildeingabe mit bis zu 1M Token Kontext
- Unterstützung ab dem ersten Tag in llama.cpp, Ollama, vLLM, SGLang, MLX und Transformers
Was nicht
- Alle Benchmark-Werte stammen von Thinking Machines
- Das Labor warnt vor Denkschleifen und unbestätigten destruktiven Aktionen im Agenteneinsatz
- Nicht-Halluzinationsrate von 63,4%, unter den 71,4% von Qwen3.8-27B
- Drei Durchläufe pro Token machen es aufwendiger im Betrieb, als 3,4B aktiv vermuten lassen
Am besten für
Entwickler und kleine Teams, die ein permissiv lizenziertes Modell für Code, Dokumente und Bildschirmerkennung wollen, das auf einem Mac oder einer Workstation-GPU läuft.
Alternativen zu Inkling 2 Mini
Inkling 2 Mini: häufige Fragen
- Lohnt sich Inkling 2 Mini?
- Inkling 2 Mini ist das offene Modell, das Thinking Machines nach dem Zurückhalten von Inkling 2 Small schuldig war: ein 20-GB-Download, der auf einem Laptop läuft und mit Qwen3.8-27B mithält. Wir bewerten es mit 4.3 von 5.
- Was kostet Inkling 2 Mini?
- Kostenlose Gewichte unter Apache 2.0. Tinker: $0,15 pro 1M Input-Token ($0,015 gecacht), $0,50 pro 1M Output; Training $0,75 pro 1M Token bei 64K Kontext, $1,50 bei 256K.
- Welche Nachteile hat Inkling 2 Mini?
- Alle Benchmark-Werte stammen von Thinking Machines; Das Labor warnt vor Denkschleifen und unbestätigten destruktiven Aktionen im Agenteneinsatz; Nicht-Halluzinationsrate von 63,4%, unter den 71,4% von Qwen3.8-27B; Drei Durchläufe pro Token machen es aufwendiger im Betrieb, als 3,4B aktiv vermuten lassen.
- Für wen eignet sich Inkling 2 Mini?
- Entwickler und kleine Teams, die ein permissiv lizenziertes Modell für Code, Dokumente und Bildschirmerkennung wollen, das auf einem Mac oder einer Workstation-GPU läuft.
- Was kostet Inkling 2 Mini für ein Team oder im Produktivbetrieb?
- Selbst gehostet kostet es eine 32-GB-GPU, einen DGX Spark oder einen Mac pro Instanz. Auf Tinker kosten 1 Milliarde Input- und 100 Millionen Output-Token im Monat zum Listenpreis etwa $200.
- Ist Inkling 2 Mini sicher für Firmendaten?
- Die Apache-2.0-Gewichte laufen vollständig auf deiner Hardware, es verlässt also nichts dein System, solange du Tinker nicht nutzt. Die Trainingsdaten umfassen öffentliche Webinhalte, Daten Dritter und synthetische Daten; Trainingsstichtag nicht veröffentlicht.
- Was sind die besten Alternativen zu Inkling 2 Mini?
- Die nächsten Alternativen, die wir getestet haben, sind Qwen3.8-27B, Gemma 4, Inkling 2 Small, Inkling und Nemotron 3.5 Super VL.
Antworten geprüft am 21. Nov. 2026.