Was ist Underdog Saluki 27B 1.0?
Underdog Saluki 27B 1.0 ist ein 2-Bit-Build von Alibabas Qwen3.8-27B, veröffentlicht am 7. Oktober 2026 von Conway Research, dem von a16z finanzierten Unternehmen hinter dem On-Device-Assistenten Underdog. Es ist kein neues Modell: Es geht von ISTA-DASLabs GSQ-RCO-Quantisierung von Qwen3.8-27B mit 8,4 GB aus und verändert diese weiter, wodurch die Datei von etwa 54 GB in voller Größe auf 7,89 GB schrumpft. Underdog nennt es einen Preview-Checkpoint und kündigt die Details zum Training für später an.
Die einzelne GGUF-Datei läuft im unveränderten llama.cpp und in Ollama, ohne eigenen Build. Die Hauptdatei verarbeitet nur Text; eine separate Vision-Datei mit 629 MB oder 928 MB ergänzt die Bildeingabe. Thinking ist standardmäßig aktiv und lässt sich wie bei Qwen3.8 pro Request abschalten. Laut Underdog läuft es auf einem Laptop mit 16 GB.
Die Gewichte stehen unter Apache 2.0, derselben Lizenz wie bei beiden Modellen, auf denen es aufbaut. In den 30 Tagen bis Ende Oktober verzeichnete es etwa 613.000 Downloads auf Hugging Face, gegenüber etwa 1,27 Millionen für den ISTA-Build, den es verändert.
Lohnt sich Underdog Saluki 27B 1.0?
Salukis Anspruch ist eng gefasst und nützlich: Mit 7,89 GB behält es das meiste von dem, was Qwen3.8-27B als Agent kann. Bei Underdog Bench, 120 Tool-Calling-Aufgaben aus dem Berkeley Function Calling Leaderboard, die vor dem Test eingefroren wurden, bestand es 88 gegenüber 84 für das volle Modell mit 54 GB und 76 für den ISTA-DASLab-Build, von dem es ausgeht. In 47 von 48 Aufgaben mit einem einzelnen Aufruf wählte es die richtige Funktion. Von 50 Issues aus SWE-bench Verified löste es 30, das volle Modell 33. Jede Zahl stammt von Underdog selbst, gemessen im eigenen Harness, und das Unternehmen sagt selbst, dass ein Abstand von wenigen Aufgaben Rauschen ist.
Der Preis der Kompression trifft das Reasoning. Bei AIME 2025 erreicht es im Schnitt 79,2 gegenüber öffentlichen 96,7 für das volle Modell, und MuSR fällt von 79,6 auf 67,5. Parallele Aufrufe sind wackliger, als die Schlagzeile vermuten lässt: Bei strenger Bewertung bestanden 42 von 100, und bei 23 Aufgaben enthielt die Antwort keinen Aufruf, den ein Prüfprogramm lesen konnte. Ein nachsichtiger Parser hebt das auf 55. Underdogs eigener Main-Build erreichte 91 im Tool-Calling-Set, ist beim Browsen aber schwächer, und der ExLlamaV3-Build, den Underdog Mia nennt, gewinnt bei parallelen Aufrufen mit 69, ist aber 9,1 GB groß und lädt nicht in llama.cpp.
Was Underdog verändert hat, ist nicht dokumentiert. Die Model Card sagt nur, dass Saluki auf der ISTA-Datei aufbaut und verändert wurde; der Launch-Beitrag verspricht die vollständigen Trainingsdetails für später. Für ein Team, das zwischen Saluki und dem ISTA-Original wählt, bleibt damit ein Vorsprung von 12 Aufgaben im Benchmark und nichts, womit es ihn reproduzieren könnte.
Das praktische Argument bleibt stark. Eine Standard-GGUF, die im unveränderten llama.cpp und in Ollama lädt, auf einem Laptop mit 16 GB neben der übrigen Arbeit Platz findet und den Thinking-Schalter von Qwen3.8 behält, ist leichter einzusetzen als jeder andere 2-Bit-Build, den Underdog verglichen hat. Der Launch-Beitrag sagt, das Release verarbeite nur Text, während die eine Woche später aktualisierte Model Card eine Vision-Datei ergänzt; rechne damit, dass die Vision-Datei neu und nur dünn dokumentiert ist.
Wo es sich lohnt
Ein Entwickler, der einen privaten Desktop-Assistenten auf einem MacBook mit 16 GB baut
Einen Agenten betreiben, der Kalender-, Datei- und Such-Tools aufruft, ohne Daten nach außen zu schicken
Stelle die GGUF mit 7,89 GB über llama-server mit --jinja bereit, Thinking aus und Temperatur 0 für direkte Aufrufe, wie die Model Card empfiehlt. Underdog meldet 47 von 48 richtig gewählten Funktionen, plane aber einen nachsichtigen Parser für Tool Calls ein.
Ein ML-Engineer, der 2-Bit-Builds von Qwen3.8-27B für ein On-Device-Produkt vergleicht
Zwischen Saluki, dem ISTA-DASLab-Original und ExLlamaV3-Builds wählen
Saluki führt bei der Auswahl einzelner Tools (88 gegenüber 76 für ISTA bei Underdog Bench), Mia führt bei parallelen Aufrufen (69 gegenüber 42), braucht aber ExLlamaV3. Teste zuerst deine eigenen Tool-Schemas, denn Underdogs Set mit 120 Aufgaben ist klein und die Methode hinter Saluki unveröffentlicht.
Der IT-Leiter einer Kanzlei mit 30 Mitarbeitenden
Den Beschäftigten einen Offline-Assistenten für Dokumentarbeit geben, ohne Cloud-Vertrag
Apache 2.0 erlaubt kommerzielle Nutzung ohne Umsatzgrenze, und das Modell läuft auf Laptops, die die Kanzlei bereits besitzt. Es ist schwach bei Mathematik im Wettbewerbsstil und bei Rätseln auf Buchstabenebene, was für Entwürfe und Recherche kaum eine Rolle spielt.
Bevor du dich festlegst
- Einrichtung
- Lade eine Datei mit 7,89 GB herunter und starte llama-server mit --jinja -ngl 99 -fa on -c 32768; für Ollama erstellst du ein Modell aus einem einzeiligen Modelfile. Ergänze für Bilder --mmproj mit der Vision-Datei mit 629 MB oder 928 MB.
- Integrationen
- llama-server stellt die OpenAI-Chat-API auf Port 8080 bereit, mit Tool Calls und einem Schalter enable_thinking pro Request; Underdog hat Ollama 0.40.4 auf Apple Silicon getestet. Außerdem ist es in der Underdog-App enthalten.
- Daten und Datenschutz
- Selbst gehostet, Daten bleiben also auf dem Rechner. Apache 2.0 erlaubt kommerzielle Nutzung und Veränderung; die NOTICE-Datei nennt Qwen und ISTA-DASLab.
- Kosten im großen Maßstab
- Die Gewichte sind kostenlos, und es gibt keinen API-Preis des Herstellers. Die Datei hat 7,89 GB plus bis zu 928 MB für Vision, und laut Underdog reicht ein Laptop mit 16 GB; einen VRAM-Wert für lange Kontexte gibt es nicht.
- Grenzen
- Behält 82 bis 85 % des Werts des vollen Modells in Wettbewerbsmathematik; am schwächsten bei Anweisungsrätseln auf Buchstabenebene; etwa ein Fünftel der Antworten mit parallelen Aufrufen enthält Formatierungsfehler; langes Reasoning bei aktivem Thinking.
Was gut ist
- Datei von 7,89 GB, ausgehend von etwa 54 GB
- 88 von 120 Tool-Calling-Aufgaben gegenüber 84 in voller Größe (selbst gemeldet)
- Unverändertes llama.cpp und Ollama, kein eigener Build
- Apache 2.0, wie beide Modelle, auf denen es aufbaut
Was nicht
- AIME 2025 fällt von 96,7 auf 79,2
- 23 von 100 Antworten mit parallelen Aufrufen für ein strenges Prüfprogramm unlesbar
- Methode der Veränderung unveröffentlicht; Preview-Checkpoint
- Jeder Benchmark wurde von Underdog durchgeführt
Am besten für
Entwickler, die einen lokalen Tool-Calling-Agenten auf einem Laptop mit 16 GB oder einer einzelnen Consumer-GPU betreiben und Abstriche bei Mathematik und Reasoning hinnehmen.
Alternativen zu Underdog Saluki 27B 1.0
Underdog Saluki 27B 1.0: häufige Fragen
- Lohnt sich Underdog Saluki 27B 1.0?
- Das 2-Bit-Qwen3.8-27B für Fälle, in denen Tool Calling wichtiger ist als Mathematik, solange du Underdogs Werte als Versprechen und nicht als Messung behandelst. Wir bewerten es mit 3.6 von 5.
- Was kostet Underdog Saluki 27B 1.0?
- Kostenlose Gewichte unter Apache 2.0. Kein Preis für eine gehostete API; du zahlst für deine eigene Hardware oder nutzt es in der Underdog-App.
- Welche Nachteile hat Underdog Saluki 27B 1.0?
- AIME 2025 fällt von 96,7 auf 79,2; 23 von 100 Antworten mit parallelen Aufrufen für ein strenges Prüfprogramm unlesbar; Methode der Veränderung unveröffentlicht; Preview-Checkpoint; Jeder Benchmark wurde von Underdog durchgeführt.
- Für wen eignet sich Underdog Saluki 27B 1.0?
- Entwickler, die einen lokalen Tool-Calling-Agenten auf einem Laptop mit 16 GB oder einer einzelnen Consumer-GPU betreiben und Abstriche bei Mathematik und Reasoning hinnehmen.
- Was kostet Underdog Saluki 27B 1.0 für ein Team oder im Produktivbetrieb?
- Die Gewichte sind kostenlos, und es gibt keinen API-Preis des Herstellers. Die Datei hat 7,89 GB plus bis zu 928 MB für Vision, und laut Underdog reicht ein Laptop mit 16 GB; einen VRAM-Wert für lange Kontexte gibt es nicht.
- Ist Underdog Saluki 27B 1.0 sicher für Firmendaten?
- Selbst gehostet, Daten bleiben also auf dem Rechner. Apache 2.0 erlaubt kommerzielle Nutzung und Veränderung; die NOTICE-Datei nennt Qwen und ISTA-DASLab.
- Was sind die besten Alternativen zu Underdog Saluki 27B 1.0?
- Die nächsten Alternativen, die wir getestet haben, sind Qwen3.8-27B, Gemma 4, gpt-oss-20b und Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB).
Antworten geprüft am 28. Okt. 2026.