Inkling : configuration GPU requise, VRAM et GPU le moins cher
Inkling compte 952,4 Md paramètres, publiés en BF16. C’est un modèle à mélange d’experts : 6 de ses 256 experts traitent chaque token, soit environ 18,1 Md paramètres, il génère donc à peu près à la vitesse d’un modèle de cette taille. Tous les experts doivent malgré tout résider en mémoire GPU, d’où des chiffres de mémoire ci-dessous pour le modèle complet. Il est publié sous apache-2.0, qui autorise l’usage commercial.
- Paramètres
- 952,4 Md
- Empreinte minimale (INT4)
- environ 553 Go
- GPU le moins cher par heure (FP16)
- –
- Type
- Vision
thinkingmachines/Inkling
Voir sur Hugging Face (s’ouvre dans un nouvel onglet)Lire notre test
- Paramètres 952,4 Md
- Actifs par token 18,1 Md
- Type Vision
- Tâche image-text-to-text
- Licence apache-2.0
- Téléchargements 1,3 M
- J’aime 1,9 k
Calcul pour Inkling
Plus de réglages
Inkling demande environ 2 099 Go de mémoire GPU
Inférence (vLLM), FP16 / BF16, contexte de 8K tokens, une requête à la fois.
Où va la mémoire
- Poids 1 905 Go
- Cache KV 2,2 Go
- Surcoût du moteur 192 Go
- Total 2 099 Go
Le nombre de GPU laisse 10 % de chaque carte libre pour les pics. Prévoyez davantage si vous attendez de longs prompts ou beaucoup d’utilisateurs en même temps.
Aucune offre suivie ne tient sur un seul nœud avec cette configuration. Essayez une précision plus basse ou un contexte plus court.
Aucune offre suivie ne tient sur un seul nœud avec cette configuration. Essayez une précision plus basse ou un contexte plus court.
Prix relevés le 16 nov. 2026. Tous les coûts sont approximatifs : à la demande, en dollars US, surtout des régions des États-Unis (les places de marché comme Vast.ai et Lium sont mondiales).
Mémoire par précision et par usage
| Précision | Inférence | Fine-tuning LoRA | Fine-tuning QLoRA | Fine-tuning complet |
|---|---|---|---|---|
| FP16 / BF16 | 2 099 Go | 2 441 Go | – | 16 772 Go |
| INT8 | 1 103 Go | – | – | – |
| INT4 | 553 Go | – | 895 Go | – |
Le GPU le moins cher par précision
Inférence avec un contexte de 8K et une requête à la fois.
FP16 / BF16
environ 2 099 Go · 8K tokens
Les poids tels que publiés. Aucune perte, mais l’empreinte la plus lourde.
Aucune offre sur un seul nœud ne convient
INT8
environ 1 103 Go · 8K tokens
Des poids deux fois plus légers. Pour le chat et le RAG, la différence se voit à peine.
7 × MI300X 192GB
RunPod (s’ouvre dans un nouvel onglet) · 8x MI300X
vendue avec 8 GPU ; il vous en faut 7- Par GPU / h
- 2,39 $US
- GPU nécessaires
- 7
- Total / h
- environ 19,12 $US
- par mois, 24/7, environ
- 13 958 $US
INT4
environ 553 Go · 8K tokens
Des poids quatre fois plus légers. Les petites pertes apparaissent d’abord en maths et en code.
4 × MI300X 192GB
RunPod (s’ouvre dans un nouvel onglet) · 4x MI300X
- Par GPU / h
- 2,39 $US
- GPU nécessaires
- 4
- Total / h
- environ 9,56 $US
- par mois, 24/7, environ
- 6 979 $US
Inférence ou fine-tuning
Inférence (FP16)
1×
de la mémoire nécessaire à l’inférence
2 099 Go
plus d’un nœud de 8 GPU
Fine-tuning LoRA
1,2×
de la mémoire nécessaire à l’inférence
2 441 Go
plus d’un nœud de 8 GPU
Fine-tuning QLoRA
0,4×
de la mémoire nécessaire à l’inférence
895 Go
6 × MI300X 192GB · environ 19,12 $US
Fine-tuning complet
8×
de la mémoire nécessaire à l’inférence
16 772 Go
plus d’un nœud de 8 GPU
Pour le servir en FP16, plus d’un nœud de 8 GPU suffit. LoRA demande plus d’un nœud de 8 GPU, QLoRA 6 × MI300X 192GB (RunPod) et un fine-tuning complet plus d’un nœud de 8 GPU. L’entraînement garde en mémoire les activations et l’état de l’optimiseur en plus des poids, d’où un besoin fréquent de plus de GPU que pour servir le même modèle.
Fonctionne-t-il sur un Mac ou une seule RTX 4090 ?
RTX 4090 (24 Go)
Pas seule. Même en INT4, il demande environ 553 Go, plus que les 24 Go de la carte. Deux cartes ou plus, ou un GPU de centre de données plus grand, suffisent.
Mac avec puce Apple
Pas de façon réaliste. Même en INT4, il demande environ 553 Go, plus que ce que le plus grand Mac peut donner à son GPU.
Modèles similaires
Des modèles ouverts de taille comparable.
- Muse Spark OpenVision822 Md · environ 1 810 Go FP16 · 14,4 k ↓Besoins en GPU
- DeepSeek-V4.1-FlashVision763,2 Md · environ 1 681 Go FP16 · 1,4 M ↓Besoins en GPU
- DeepSeek V4.1 Flash 1017Vision763,2 Md · environ 1 681 Go FP16 · 505,4 k ↓Besoins en GPU
- LongCat-2.5Vision1,8 Bn · environ 3 917 Go FP16 · 2,8 k ↓Besoins en GPU
- MiniMax-M3Vision427 Md · environ 942 Go FP16 · 104,6 k ↓Besoins en GPU
- Qwen3.5-397B-A17BVision403,4 Md · environ 889 Go FP16 · 645,4 k ↓Besoins en GPU
Inkling : questions fréquentes
Combien de VRAM faut-il pour Inkling ?
Environ 2 099 Go en FP16, 1 103 Go en INT8 et 553 Go en INT4, avec un contexte de 8K et une requête à la fois. Un contexte plus long et davantage de requêtes en parallèle ajoutent du cache KV.
Quel est le GPU le moins cher pour faire tourner Inkling ?
7 × MI300X 192GB (environ 2,39 $US par GPU / heure; vendue avec 8 GPU ; il vous en faut 7) chez RunPod, pour environ 19,12 $US de l’heure en inférence INT8 avec un contexte de 8K. Prix relevés le 16 nov. 2026 ; ils changent souvent.
Peut-on faire le fine-tuning de Inkling sur un seul GPU ?
Pas sur un seul GPU. Même QLoRA demande environ 895 Go, plus que ce que contient un GPU de 80 Go. LoRA demande environ 2 441 Go et un fine-tuning complet environ 16 772 Go.
Comment ces chiffres sont-ils calculés ?
Les poids correspondent aux paramètres multipliés par les octets par paramètre (2 en FP16, 1 en INT8, 0,5 en INT4). Le cache KV dépend des couches, des têtes KV, de la taille de tête et de la longueur de contexte du modèle. Nous ajoutons environ 10 % plus 1 Go pour le moteur et remplissons chaque GPU à 90 %. Les prix sont les tarifs catalogue à la demande dans les régions des États-Unis, relevés sur la page publique de chaque fournisseur.
Inkling fonctionne-t-il sur un GPU grand public comme la RTX 4090 ?
Pas seule. Même en INT4, il demande environ 553 Go, plus que les 24 Go de la carte. Deux cartes ou plus, ou un GPU de centre de données plus grand, suffisent.
Inkling tient-il sur une seule H100 80 Go ?
Non. Même en INT4, il demande environ 553 Go : il faut plusieurs GPU.
Combien de GPU faut-il pour Inkling ?
En FP16 avec un contexte de 8K : 30 × 80 Go, 49 × 48 Go ou 98 × 24 Go. En INT4, les poids prennent environ le quart de la mémoire.
Combien de VRAM faut-il pour Inkling en INT8 ?
Environ 1 103 Go : 1 000 Go pour les poids, 2,2 Go pour un cache KV de 8K et 101 Go de surcoût du moteur.
Combien coûte Inkling en fonctionnement 24/7 pendant un mois ?
Environ 13 958 $US avec la configuration la moins chère que nous avons trouvée (7 × MI300X 192GB (environ 2,39 $US par GPU / heure; vendue avec 8 GPU ; il vous en faut 7), 19,12 $US de l’heure pendant 730 heures). Le moins cher chez AWS, Google Cloud ou Azure revient à environ 83 171 $US par mois.
FP16, INT8 ou INT4 : lequel choisir ?
Le FP16 garde toute la qualité et demande le plus de mémoire (environ 2 099 Go ici). L’INT8 divise les poids par deux avec peu de perte pour la plupart des usages de chat. L’INT4 (AWQ, GPTQ ou GGUF Q4) les réduit au quart, environ 553 Go au total, avec une légère baisse de qualité, surtout visible en maths et en code.
Inkling fonctionne-t-il sur un Mac ?
Pas de façon réaliste. Même en INT4, il demande environ 553 Go, plus que ce que le plus grand Mac peut donner à son GPU.
vLLM ou llama.cpp ?
vLLM est conçu pour servir de nombreuses requêtes à la fois sur des GPU NVIDIA et AMD et réserve l’essentiel de la mémoire GPU au cache KV. llama.cpp lit les fichiers GGUF sur presque tout, Mac et CPU compris, et convient à une personne ou à une petite équipe. À précision égale, la mémoire nécessaire est proche.
Prix relevés le 16 nov. 2026. Tous les coûts sont approximatifs : à la demande, en dollars US, surtout des régions des États-Unis (les places de marché comme Vast.ai et Lium sont mondiales).
Notre méthode de calcul
- Poids. Paramètres multipliés par les octets par paramètre : 2 en FP16, 1 en INT8, 0,5 en INT4, plus environ 5 % pour les échelles de quantification en INT8 et INT4.
- Cache KV. 2 × couches × têtes KV × taille de tête × contexte × requêtes × 2 octets, d’après le config.json du modèle. Si une valeur manque, nous l’estimons et le signalons.
- Surcoût. Environ 10 % plus 1 Go pour le moteur, dans la ligne de ce que réserve vLLM.
- Fine-tuning. LoRA garde des poids en 16 bits et ajoute un petit adaptateur, son optimiseur et les activations. QLoRA fait de même sur des poids en 4 bits. Un fine-tuning complet demande environ 16 octets par paramètre avec Adam en précision mixte (poids, gradients et états de l’optimiseur), plus les activations.
- GPU. Nous remplissons chaque GPU à 90 % de sa mémoire et nous arrêtons à 8 par nœud. Les coûts sont les prix catalogue à la demande dans les régions des États-Unis ; pour les places de marché, nous montrons l’offre médiane.