Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

DwarfStar (ds4)

Le moteur d'inférence en C d'antirez pour une poignée de grands modèles ouverts, DeepSeek V4 Flash en tête, sur Mac de 96 Go et plus, DGX Spark et Strix Halo.

Avis de ReviewRamble editors · Mis à jour

Voir sur GitHub Open source

Partager cette page :XLinkedInFacebookRedditWhatsAppE-mail

Notre note

4.1/5

ds4 fait tourner des modèles ouverts de premier plan à une vitesse utile sur un seul gros Mac ou un DGX Spark en refusant d'être généraliste, ce qui explique à la fois sa rapidité et le risque de perdre votre modèle au prochain commit.

Qu’est-ce que DwarfStar (ds4) ?

DwarfStar, publié sous le nom ds4, est un petit moteur d'inférence natif écrit en C par Salvatore Sanfilippo (antirez, le créateur de Redis). Il ne prend volontairement en charge que quelques modèles : DeepSeek V4 Flash et V4.1 Flash, DeepSeek V4 PRO, GLM 5.2, 5.3 et 5.3 Flash, et Qwen3.8 Flash Next. Ce n'est pas un exécuteur GGUF généraliste ; il ne charge que les fichiers GGUF produits par le projet lui-même.

Le dépôt fournit une CLI multi-tours (`ds4`), un agent de code natif (`ds4-agent`), un serveur HTTP (`ds4-server`) avec des endpoints de chat et Responses de style OpenAI ainsi qu'un endpoint de messages de style Anthropic, et `ds4-eval` pour les tests de régression des capacités. Metal sur Apple silicon est la cible principale, avec CUDA (DGX Spark et cartes multi-GPU comme la L40S) et ROCm sur Strix Halo. Le streaming depuis SSD permet d'exécuter depuis le disque des modèles plus grands que la RAM, et deux machines peuvent partager un modèle via RDMA ou un pipeline par couches.

DwarfStar (ds4) vaut-il le coup ?

ds4 est la voie la plus directe pour exécuter DeepSeek V4 Flash sur du matériel qu'un particulier peut posséder. Le README vise des Mac de 96 Go ou plus pour DeepSeek et GLM, 64 Go pour Qwen3.8 Flash Next, et le téléchargement de départ, Flash Q2, pèse environ 81 Gio. Le site communautaire relève 34,4 tokens par seconde en génération et 557 tokens par seconde en prefill avec 32K de contexte sur un M5 Max de 128 Go, et le README indique environ 126 tokens par seconde au total sur 16 sessions avec huit cartes L40S. Le dépôt compte environ 24 400 étoiles GitHub depuis son premier commit en mai 2026.

Le périmètre étroit est un choix de conception, pas un accident. Au lieu d'un chargeur générique, chaque modèle a ses propres modèles de prompt, son format d'appel d'outils, sa recette de quantification et sa gestion du cache KV, et le projet teste ensemble le chargement, les appels d'outils, le serveur et l'agent. Le streaming depuis SSD va plus loin : la version Q2 de Qwen3.8 garde 95,37 Gio de tables de n-grammes sur disque et seulement 41,73 Gio de poids en mémoire, si bien qu'un SSD local rapide fait partie des exigences matérielles.

Le serveur écoute par défaut sur 127.0.0.1:8000, et la documentation demande de placer authentification et TLS devant avant de l'exposer avec --host 0.0.0.0 ; elle ne décrit aucune authentification intégrée. Les sessions d'agent enregistrées se trouvent dans ~/.ds4/kvcache et, comme le prévient le README, peuvent contenir des informations privées.

Le hic : le README qualifie le logiciel de qualité bêta et précise qu'un modèle peut être retiré quand un meilleur arrive ; une configuration qui marche aujourd'hui n'est donc pas une promesse pour le mois prochain. Il n'y a pas de versions étiquetées, seulement une branche main mouvante avec environ 873 issues et pull requests ouvertes. Le code est écrit avec une forte aide d'agents de code IA, ce que le projet dit ouvertement, et sa réponse documentée aux fonctions manquantes est de demander à votre propre agent de les ajouter.

Notre avis : pour un développeur équipé d'un Mac de 128 Go qui veut un modèle local assez bon pour remplacer en partie un assistant de code payant, ds4 est aujourd'hui un meilleur pari qu'un exécuteur généraliste ; qui a besoin d'un serveur stable et maintenu pour une équipe devrait figer un commit et garder llama.cpp en solution de repli.

Là où il fait la différence

  • Un développeur indépendant avec un MacBook Pro de 128 Go

    Utiliser Claude Code avec un modèle local quand la facture d'API ou les règles d'un client sur les données excluent le cloud

    Téléchargez Flash Q2 (environ 81 Gio), lancez `ds4-server` et pointez l'URL de base Anthropic de Claude Code vers lui, en suivant le guide des clients. Le coût se limite au portable et à l'électricité ; le site communautaire relève environ 34 tokens par seconde en génération sur un M5 Max.

  • Une petite équipe ML disposant d'une baie de cartes L40S

    Servir DeepSeek V4 Flash à plusieurs utilisateurs internes sans acheter de GPU plus récents

    Compilez avec `make cuda-generic` et lancez le serveur avec plusieurs sessions ; le README indique environ 126 tokens par seconde au total sur 16 sessions avec huit cartes L40S. Placez devant un proxy authentifiant et TLS, la documentation ne décrivant ni l'un ni l'autre.

  • Une chercheuse qui compare des recettes de quantification

    Vérifier qu'un modèle répond toujours correctement après une quantification agressive des experts à 2 bits

    Lancez `ds4-eval` avec la suite core ou hard sur chaque GGUF et comparez les traces ; le dépôt inclut aussi des outils pour construire des fichiers GGUF et des données imatrix.

Avant de vous engager

Mise en route
Clonez le dépôt, lancez `make` (ou `make cuda-spark`, `make strix-halo`, `make cuda-generic`), puis `./download_model.sh ds4f-q2` ; le téléchargement du modèle est la partie lente, environ 81 Gio.
Intégrations
Endpoints de chat et Responses d'OpenAI et de messages d'Anthropic, avec outils et streaming SSE ; configurations documentées pour Pi, OpenCode, Codex CLI et Claude Code.
Données et confidentialité
Tout tourne en local ; le serveur se lie à 127.0.0.1:8000 sauf si vous passez --host. Les sessions enregistrées dans ~/.ds4/kvcache peuvent contenir des conversations privées. Le README ne mentionne aucune télémétrie.
Coût à grande échelle
Aucun coût de licence. Le vrai coût est le matériel : 96 Go ou plus de mémoire unifiée pour DeepSeek ou GLM, ou plusieurs cartes CUDA, plus de l'espace SSD rapide pour les plus gros fichiers GGUF.
Limites
Une liste fixe de modèles pris en charge, susceptible de changer ; pas de versions étiquetées ; les sessions avec images ne peuvent pas encore être enregistrées ; ni authentification ni TLS documentés.

Les points forts

  • Exécute DeepSeek V4 Flash à environ 34 tokens par seconde sur un Mac de 128 Go, selon les chiffres du projet
  • Serveur compatible OpenAI et Anthropic qui fonctionne avec Claude Code, Codex CLI et OpenCode
  • Le streaming depuis SSD et le RDMA entre deux machines dépassent la RAM d'une seule machine
  • Local par défaut : le serveur se lie à 127.0.0.1

Les points faibles

  • Seuls les fichiers GGUF du projet se chargent ; des modèles peuvent disparaître
  • Qualité bêta, pas de versions étiquetées, environ 873 issues et pull requests ouvertes
  • Exige au moins 64 Go et un SSD rapide pour les plus gros modèles
  • Aucune authentification documentée si vous ouvrez le serveur à un réseau

Idéal pour

Les développeurs disposant d'un Mac de 96 Go ou plus, d'un DGX Spark ou d'une machine Strix Halo qui veulent DeepSeek V4 Flash ou GLM 5.3 Flash en local derrière leur agent de code.

Alternatives à DwarfStar (ds4)

DwarfStar (ds4) : questions fréquentes

DwarfStar (ds4) vaut-il le coup ?
ds4 fait tourner des modèles ouverts de premier plan à une vitesse utile sur un seul gros Mac ou un DGX Spark en refusant d'être généraliste, ce qui explique à la fois sa rapidité et le risque de perdre votre modèle au prochain commit. Nous lui donnons 4.1 sur 5.
Combien coûte DwarfStar (ds4) ?
Gratuit et open source (MIT). Aucune offre hébergée ni payante ; vous fournissez le matériel et téléchargez les poids.
Quels sont les inconvénients de DwarfStar (ds4) ?
Seuls les fichiers GGUF du projet se chargent ; des modèles peuvent disparaître; qualité bêta, pas de versions étiquetées, environ 873 issues et pull requests ouvertes; exige au moins 64 Go et un SSD rapide pour les plus gros modèles; aucune authentification documentée si vous ouvrez le serveur à un réseau.
À qui s’adresse DwarfStar (ds4) ?
Les développeurs disposant d'un Mac de 96 Go ou plus, d'un DGX Spark ou d'une machine Strix Halo qui veulent DeepSeek V4 Flash ou GLM 5.3 Flash en local derrière leur agent de code.
Combien coûte DwarfStar (ds4) pour une équipe ou en production ?
Aucun coût de licence. Le vrai coût est le matériel : 96 Go ou plus de mémoire unifiée pour DeepSeek ou GLM, ou plusieurs cartes CUDA, plus de l'espace SSD rapide pour les plus gros fichiers GGUF.
DwarfStar (ds4) est-il sûr pour les données de l’entreprise ?
Tout tourne en local ; le serveur se lie à 127.0.0.1:8000 sauf si vous passez --host. Les sessions enregistrées dans ~/.ds4/kvcache peuvent contenir des conversations privées. Le README ne mentionne aucune télémétrie.
Quelles sont les meilleures alternatives à DwarfStar (ds4) ?
Les alternatives les plus proches que nous avons testées sont llama.cpp, Ollama et MLX.

Réponses vérifiées le 16 nov. 2026.

Vous éditez DwarfStar (ds4) ? Affichez cette note sur votre siteDwarfStar (ds4) noté 4.1 sur 5 par ReviewRamble