Skip to content
ReviewRamble

The weekly brief

AI, reviewed, in your inbox.

  • New reviews of tools, models, MCP servers and repos, with the verdict up front
  • Re-checked prices and ratings when something changes
  • New analysis pieces as they are published

Models, agents, MCP servers and the tools actually worth your time.

One email a week. Unsubscribe with the link in any brief. How we use your email

Underdog Saluki 27B 1.0

O Qwen3.8-27B espremido em um arquivo de 2 bits de 7,89 GB que mantém a chamada de ferramentas intacta, sob Apache 2.0.

Análise de Andrew Miller · Atualizado

Nossa nota

3.6/5

O Qwen3.8-27B de 2 bits para rodar quando a chamada de ferramentas importa mais que a matemática, desde que você trate as notas da Underdog como promessa e não como medição.

O que é Underdog Saluki 27B 1.0?

O Underdog Saluki 27B 1.0 é um build de 2 bits do Qwen3.8-27B da Alibaba, publicado em 7 de outubro de 2026 pela Conway Research, a empresa apoiada pela a16z por trás do assistente local Underdog. Não é um modelo novo: ele parte da quantização GSQ-RCO de 8,4 GB do Qwen3.8-27B feita pela ISTA-DASLab e a modifica ainda mais, reduzindo o arquivo a 7,89 GB, contra cerca de 54 GB no tamanho completo. A Underdog o chama de checkpoint de prévia e diz que os detalhes do treinamento virão depois.

O arquivo GGUF único roda no llama.cpp e no Ollama padrão, sem build personalizado. O arquivo principal é só texto; um arquivo de visão separado de 629 MB ou 928 MB acrescenta entrada de imagem. O raciocínio vem ativado por padrão e pode ser desligado por requisição, como no Qwen3.8. A Underdog diz que ele roda em um notebook de 16 GB.

Os pesos estão sob Apache 2.0, a mesma licença dos dois modelos em que ele se baseia. Nos 30 dias até o fim de outubro, ele somou cerca de 613.000 downloads no Hugging Face, contra cerca de 1,27 milhão do build da ISTA que ele modifica.

Underdog Saluki 27B 1.0 vale a pena?

A proposta do Saluki é estreita e útil: com 7,89 GB, ele mantém a maior parte do que o Qwen3.8-27B consegue fazer como agente. No Underdog Bench, 120 tarefas de chamada de ferramentas tiradas do Berkeley Function Calling Leaderboard e congeladas antes dos testes, ele passou em 88, contra 84 do modelo completo de 54 GB e 76 do build da ISTA-DASLab de onde parte. Escolheu a função certa em 47 de 48 tarefas de chamada única. Em 50 issues do SWE-bench Verified, corrigiu 30, contra 33 do modelo completo. Todos os números são da própria Underdog, rodados em seu próprio harness, e a empresa mesmo diz que uma diferença de poucas tarefas é ruído.

O custo da compressão recai sobre o raciocínio. No AIME 2025, ele faz em média 79,2, contra 96,7 públicos do modelo completo, e o MuSR cai de 79,6 para 67,5. As chamadas paralelas são mais frágeis do que o destaque sugere: 42 de 100 passaram com pontuação rígida, e em 23 tarefas a resposta não trazia nenhuma chamada que um verificador conseguisse ler. Um parser tolerante eleva isso a 55. O build Main da própria Underdog marcou 91 no conjunto de chamada de ferramentas, mas navega pior, e o build ExLlamaV3 que ela chama de Mia vence nas chamadas paralelas com 69, embora tenha 9,1 GB e não carregue no llama.cpp.

O que a Underdog mudou não está documentado. O cartão diz só que o Saluki foi construído sobre o arquivo da ISTA e modificado; o post de lançamento promete o treinamento completo depois. Para uma equipe que decide entre o Saluki e o original da ISTA, isso deixa uma vantagem de 12 tarefas em um benchmark e nada com que reproduzi-la.

O argumento prático continua forte. Um GGUF padrão que carrega no llama.cpp e no Ollama padrão, cabe ao lado do resto do trabalho em um notebook de 16 GB e mantém a chave de raciocínio do Qwen3.8 é mais fácil de implantar que qualquer outro build de 2 bits que a Underdog comparou. O post de lançamento diz que a versão aceita só texto, enquanto o cartão, atualizado uma semana depois, acrescenta um arquivo de visão; trate o arquivo de visão como novo e pouco documentado.

Onde ele se destaca

  • Um desenvolvedor criando um assistente de desktop privado em um MacBook de 16 GB

    Rodar um agente que chama ferramentas de agenda, arquivos e busca sem enviar dados para fora

    Sirva o GGUF de 7,89 GB com llama-server e --jinja, raciocínio desligado e temperatura 0 para chamadas diretas, como o cartão recomenda. A Underdog relata 47 de 48 escolhas de função certas, mas preveja um parser tolerante para as chamadas de ferramentas.

  • Um engenheiro de ML comparando builds de 2 bits do Qwen3.8-27B para um produto local

    Escolher entre o Saluki, o original da ISTA-DASLab e builds ExLlamaV3

    O Saluki lidera na seleção de uma única ferramenta (88 contra 76 da ISTA no Underdog Bench), o Mia lidera nas chamadas paralelas (69 contra 42), mas precisa do ExLlamaV3. Rode antes seus próprios esquemas de ferramentas, já que o conjunto de 120 tarefas da Underdog é pequeno e o método por trás do Saluki não foi publicado.

  • Um chefe de TI em um escritório de advocacia de 30 pessoas

    Dar à equipe um assistente offline para tarefas com documentos sem contrato de nuvem

    A Apache 2.0 permite uso comercial sem teto de receita, e o modelo roda nos notebooks que o escritório já tem. Ele é fraco em matemática de competição e em quebra-cabeças no nível de letras, o que pouco importa para redação e consulta.

Antes de decidir

Configuração
Baixe um único arquivo de 7,89 GB e inicie o llama-server com --jinja -ngl 99 -fa on -c 32768; no Ollama, crie um modelo a partir de um Modelfile de uma linha. Acrescente --mmproj com o arquivo de visão de 629 MB ou 928 MB para imagens.
Integrações
O llama-server expõe a API de chat da OpenAI na porta 8080, com chamadas de ferramentas e uma chave enable_thinking por requisição; a Underdog testou o Ollama 0.40.4 em Apple Silicon. Ele também vem dentro do app Underdog.
Dados e privacidade
Auto-hospedado, então os dados ficam na máquina. A Apache 2.0 permite uso comercial e modificação; o arquivo NOTICE credita Qwen e ISTA-DASLab.
Custo em escala
Os pesos são grátis e não há preço de API própria. O arquivo tem 7,89 GB, mais até 928 MB para visão, e a Underdog diz que um notebook de 16 GB o roda; não há número de VRAM publicado para contextos longos.
Limites
Mantém de 82 a 85% da nota do modelo completo em matemática de competição; mais fraco em quebra-cabeças de instruções no nível de letras; cerca de um quinto das respostas de chamadas paralelas tem deslizes de formatação; raciocínio longo com o modo de raciocínio ativado.

O que é bom

  • Arquivo de 7,89 GB, a partir de cerca de 54 GB
  • 88 de 120 tarefas de chamada de ferramentas contra 84 do tamanho completo (autodeclarado)
  • llama.cpp e Ollama padrão, sem build personalizado
  • Apache 2.0, como os dois modelos em que se baseia

O que não é

  • O AIME 2025 cai para 79,2, de 96,7
  • 23 de 100 respostas de chamadas paralelas ilegíveis para um verificador rígido
  • Método de modificação não publicado; checkpoint de prévia
  • Todos os benchmarks rodados pela Underdog

Ideal para

Desenvolvedores que rodam um agente local com chamada de ferramentas em um notebook de 16 GB ou em uma única GPU de consumo e aceitam uma perda em matemática e raciocínio.

Alternativas ao Underdog Saluki 27B 1.0

Underdog Saluki 27B 1.0: perguntas frequentes

Underdog Saluki 27B 1.0 vale a pena?
O Qwen3.8-27B de 2 bits para rodar quando a chamada de ferramentas importa mais que a matemática, desde que você trate as notas da Underdog como promessa e não como medição. Damos nota 3.6 de 5.
Quanto custa Underdog Saluki 27B 1.0?
Pesos grátis sob Apache 2.0. Sem preço de API hospedada; você paga pelo próprio hardware, ou o usa dentro do app Underdog.
Quais são as desvantagens de Underdog Saluki 27B 1.0?
O AIME 2025 cai para 79,2, de 96,7; 23 de 100 respostas de chamadas paralelas ilegíveis para um verificador rígido; método de modificação não publicado; checkpoint de prévia; todos os benchmarks rodados pela Underdog.
Para quem Underdog Saluki 27B 1.0 é indicado?
Desenvolvedores que rodam um agente local com chamada de ferramentas em um notebook de 16 GB ou em uma única GPU de consumo e aceitam uma perda em matemática e raciocínio.
Quanto custa Underdog Saluki 27B 1.0 para uma equipe ou em produção?
Os pesos são grátis e não há preço de API própria. O arquivo tem 7,89 GB, mais até 928 MB para visão, e a Underdog diz que um notebook de 16 GB o roda; não há número de VRAM publicado para contextos longos.
Underdog Saluki 27B 1.0 é seguro para dados da empresa?
Auto-hospedado, então os dados ficam na máquina. A Apache 2.0 permite uso comercial e modificação; o arquivo NOTICE credita Qwen e ISTA-DASLab.
Quais são as melhores alternativas ao Underdog Saluki 27B 1.0?
As alternativas mais próximas que analisamos são Qwen3.8-27B, Gemma 4, gpt-oss-20b e Nemotron 3.5 Bolt (74B-A9B 24GB and E4B 4GB).

Respostas verificadas em 28 de out. de 2026.