Was ist Needle 3?
Needle 3 ist ein winziges Modell von Cactus Compute, einem von Y Combinator unterstützten Unternehmen für KI auf dem Gerät, veröffentlicht im September 2026. Es chattet nicht. Bekommt es die Funktionen, die eine App bereitstellt, wählt es die richtigen aus und füllt ihre Argumente; bekommt es ein Schema, extrahiert es typisierte Felder aus unordentlichem Text; und es liefert Satz-Embeddings für die lokale Suche. Eine aus deinen Schemas kompilierte Grammatik garantiert, dass das JSON sich parsen lässt, und jede Antwort trägt einen Konfidenzwert, unterhalb dessen der Aufruf zurückgehalten wird.
Das vollständige Modell hat 121 Millionen Parameter in 20 Schichten, 70,8 Millionen davon in einer N-Gramm-Speichertabelle, komprimiert auf etwa 2 Bit. Jede Tiefe von 2 bis 20 Schichten ist ein nutzbares Modell aus denselben Gewichten, ein Produkt kann also eine Version mit 29M und 4 Schichten auf eine Kamera bringen und das vollständige Modell auf ein Handy. Laut Cactus wurde es auf 360 Milliarden Tokens proprietärer strukturierter Daten trainiert.
Die Gewichte stehen unter Apache 2.0, und LoRA-Feinabstimmung läuft lokal über das Python-Paket. Die Inferenz-Engine wird als vorkompilierte Binärdatei ausgeliefert, nicht als Quellcode. Better Stack stimmte es in einem Video vom 3. Oktober so ab, dass es eine virtuelle Roboterente steuert.
Lohnt sich Needle 3?
Needle 3 ist das kleinste uns bekannte Modell, das zuverlässig Tool-Aufrufe für Handybefehle erledigt, und es ist enger, als sein Marketing sagt. Auf Mobile Actions, das Handy-Anfragen auf Android-Intents abbildet, erreicht das 121M-Modell 86,0% Exact Match gegenüber 82,4% für LFM2.5 1.2B und 88,4% für DeepSeek V4 Flash in der Cloud. Auf DroidCall führt es mit 47,0% alle kleinen Modelle an. Das sind die Ergebnisse hinter der Behauptung, es schlage zehnmal größere Modelle.
Cactus sagt außerdem, es halte bei der Extraktion mit zwei- bis dreimal größeren Modellen mit, und das eigene Diagramm sagt etwas anderes. Auf DSTC8 erreicht es 40,7 F1 gegenüber 53,0 für das 230M-Modell LFM2.5, das nicht einmal doppelt so groß ist, und in beiden SNIPS-Tests liegt LFM2.5 350M vorn (34,0 zu 30,2 und 29,0 zu 24,7). Auf BFCL v4, dem allgemeinen Benchmark für Function Calling, kommt es auf 50,2% gegenüber 59,1% für LFM2.5 350M. Alle Werte stammen von Cactus selbst, gemessen mit der ausgelieferten Binärdatei gegen Konkurrenten in f16.
Die Leiter ist der clevere Teil, und bei der Feinabstimmung zahlt sie sich aus. Cactus meldet, dass Feinabstimmung auf DroidCall jede Tiefe um 18 bis 36 Punkte hebt und das Modell mit 4 Schichten und 29M dann bei dieser Aufgabe DeepSeek V4 Flash überholt. Die Enten-Demo von Better Stack zeigt dasselbe im Kleinen: Auf 49 zurückgehaltenen Prompts hob eine Feinabstimmung das vollständige Modell von 27% auf 84% und eine Version mit 4 Schichten und 15 MB auf 61%. Rechne damit, vor der Auslieferung feinabzustimmen; das Basismodell ist ein Ausgangspunkt.
Das Kleingedruckte lohnt sich. Die Engine ist eine vorkompilierte Bibliothek ohne veröffentlichten Quellcode, und Paket und Binärdateien senden anonyme Nutzungszahlen, sofern du nicht NEEDLE_TELEMETRY=0 setzt. Auch die Größenangaben schwanken: Die Seite nennt 8 bis 29 MB, während needle3.cact mit 20 Schichten auf Hugging Face 35,3 MB groß ist, und die Release-Seite nennt 20,6k GitHub-Sterne gegenüber etwa 14.400 im Repository selbst.
Wo es sich lohnt
Ein Firmware-Team bei einem Hersteller von Saugrobotern
Gesprochene Anweisungen wie "putz die Küche, aber lass das Schlafzimmer aus" in eine Befehlsfolge verwandeln
Stimme per LoRA auf den eigenen Tool-Satz des Produkts ab und baue dann mit needle build ein Teilnetz mit 8 Schichten für die ARM-Platine des Roboters; kombiniere es für Sprache mit Whistle. Leite Aufrufe mit niedriger Konfidenz an eine Rückfrage weiter, statt zu handeln.
Ein Android-Entwickler bei einer App für private Finanzen
Bankbenachrichtigungen auf dem Handy in Felder für Händler, Betrag und Datum auslesen
Deklariere ein Pydantic-Schema und rufe extract() auf; die Ausgabe lässt sich immer parsen. Teste zuerst mit deinen eigenen Benachrichtigungen, denn Cactus' Diagramm zeigt Konkurrenten mit 230M und 350M bei einigen Extraktionstests vorn.
Ein Maker, der ein sprechendes Spielzeug oder einen Schreibtischroboter baut
Offline eine Steuerung in natürlicher Sprache mit Persönlichkeitsregeln ergänzen
Better Stack stimmte es auf einer RTX 5090 ab, um eine simulierte Open Duck Mini zu steuern; auf 49 ungesehenen Prompts stieg die Genauigkeit von 27% auf 84%. Der Build mit 4 Schichten und 15 MB erreichte 61% und passt auf eine kleinere Platine.
Bevor du dich festlegst
- Einrichtung
- pip install cactus-needle, Python-Funktionen mit @needle.tool dekorieren und Needle(tools=[...]).run() aufrufen; Engine und Gewichte werden einmal heruntergeladen. needle build --platform <folder> --layers N erzeugt ein Paket für das Gerät.
- Integrationen
- Python-Paket; C-API (needle_load, needle_init, needle_complete, needle_embed); eine CLI mit lokalem HTTP-Server; Engines für 13 Plattformordner, darunter iOS, Android, watchOS, MIPS-Kameras, der Browser und WASI. Nimmt Tool-Schemas im Stil von OpenAI an. Lädt Whistle für Spracheingabe in derselben Engine.
- Daten und Datenschutz
- Die Inferenz berührt nie das Netz und funktioniert Air-Gapped. Anonyme Nutzungstelemetrie ist standardmäßig aktiv; NEEDLE_TELEMETRY=0 und DO_NOT_TRACK=1 schalten sie ab. Die Trainingsdaten sind proprietär und nicht offengelegt.
- Kosten im großen Maßstab
- Keine Lizenz- oder Aufrufgebühren. Auf einem Raspberry Pi 5 meldet Cactus ein Dekodieren von etwa 400 Tokens pro Sekunde bei 20 Schichten bis 4.000 bei 2 Schichten. Feinabstimmung auf der Plattform und ihr 2-Bit-Post-Training kosten Geld, zu nicht veröffentlichten Preisen.
- Grenzen
- Tool-Schemas teilen sich einen kleinen Kontext mit dem Prompt, große Tool-Kataloge müssen also aufgeteilt oder per Retrieval geladen werden; die native API hält ein Modell pro Prozess. Lokal feinabgestimmte Exporte sind 4-Bit und größer als die ausgelieferte 2-Bit-Datei (63 MB bei 20 Schichten im Test von Better Stack).
Was gut ist
- 86,0% auf Mobile Actions mit 121M Parametern, laut Cactus
- Grammatikgebundene Ausgabe lässt sich immer parsen; kalibrierte Konfidenz pro Aufruf
- Ein Satz Gewichte läuft in jeder Tiefe von 2 bis 20 Schichten
- Lokale LoRA-Feinabstimmung; Gewichte unter Apache 2.0
Was nicht
- Bei Extraktion und BFCL v4 hinter Modellen mit 230M bis 350M
- Engine ist Closed Source; Telemetrie standardmäßig aktiv
- Veröffentlichte Größen und Sternzahlen passen nicht zu den Repositories
- Basismodell braucht für die meisten Produkte eine Feinabstimmung
Am besten für
Geräte- und App-Hersteller mit einem festen, kleinen Satz an Aktionen, die ein Modell für den Offline-Betrieb auf sehr begrenzter Hardware feinabstimmen werden.
Alternativen zu Needle 3
Needle 3: häufige Fragen
- Lohnt sich Needle 3?
- Ein glaubwürdiges Modell für Handybefehle in einer Größe, die sonst nichts erreicht, verkauft mit einem breiteren Anspruch, als seine eigenen Diagramme stützen. Wir bewerten es mit 3.6 von 5.
- Was kostet Needle 3?
- Kostenlose offene Gewichte unter Apache 2.0; vorkompilierte Engines kostenlos herunterladbar. Die Cactus Platform verkauft 2-Bit-Post-Training, Datensätze und vollständige Feinabstimmungen; Preise nicht veröffentlicht.
- Welche Nachteile hat Needle 3?
- Bei Extraktion und BFCL v4 hinter Modellen mit 230M bis 350M; Engine ist Closed Source; Telemetrie standardmäßig aktiv; Veröffentlichte Größen und Sternzahlen passen nicht zu den Repositories; Basismodell braucht für die meisten Produkte eine Feinabstimmung.
- Für wen eignet sich Needle 3?
- Geräte- und App-Hersteller mit einem festen, kleinen Satz an Aktionen, die ein Modell für den Offline-Betrieb auf sehr begrenzter Hardware feinabstimmen werden.
- Was kostet Needle 3 für ein Team oder im Produktivbetrieb?
- Keine Lizenz- oder Aufrufgebühren. Auf einem Raspberry Pi 5 meldet Cactus ein Dekodieren von etwa 400 Tokens pro Sekunde bei 20 Schichten bis 4.000 bei 2 Schichten. Feinabstimmung auf der Plattform und ihr 2-Bit-Post-Training kosten Geld, zu nicht veröffentlichten Preisen.
- Ist Needle 3 sicher für Firmendaten?
- Die Inferenz berührt nie das Netz und funktioniert Air-Gapped. Anonyme Nutzungstelemetrie ist standardmäßig aktiv; NEEDLE_TELEMETRY=0 und DO_NOT_TRACK=1 schalten sie ab. Die Trainingsdaten sind proprietär und nicht offengelegt.
- Was sind die besten Alternativen zu Needle 3?
- Die nächsten Alternativen, die wir getestet haben, sind LFM3, Gemma 4 und MiniCPM5-2B.
Antworten geprüft am 2. Nov. 2026.