Moteurs d'inférence

Ce qu’il faut regarder

Les questions qui départagent les options, par ordre d’importance.

1. 01

   Débit ou latence : décidez ce que vous achetez

   Le débit est le nombre total de tokens par seconde pour l'ensemble des utilisateurs, et il fixe votre coût par token. La latence est ce que ressent un utilisateur : le temps jusqu'au premier token (TTFT) et la vitesse de sortie pour sa requête. Des moteurs comme vLLM et SGLang regroupent de nombreuses requêtes pour augmenter le débit, ce qui peut ralentir chaque flux individuel ; les puces spécialisées (Groq, Cerebras) vendent une vitesse par utilisateur très élevée. Un chatbot a besoin d'un TTFT faible, une tâche batch nocturne de débit, et un agent qui enchaîne des dizaines d'appels des deux.

2. 02

   Lire les benchmarks de fournisseurs d'Artificial Analysis

   Artificial Analysis chronomètre chaque fournisseur qui sert un même modèle. La vitesse de sortie est le nombre de tokens par seconde après l'arrivée du premier token ; le TTFT est le nombre de secondes avant le premier token, ce qui, pour les modèles de raisonnement, signifie le premier token de raisonnement : vérifiez donc aussi le temps jusqu'au premier token de réponse. Les chiffres sont la médiane des 72 dernières heures, le prompt par défaut compte environ 10 000 tokens d'entrée, et les tests partent d'une seule région Google Cloud dans l'Iowa, si bien que le TTFT inclut la distance réseau depuis là-bas. La plupart des tests envoient une requête à la fois ; le test parallèle n'en envoie que 10, une fois par jour : les graphiques disent donc peu de chose de la tenue d'un fournisseur sous votre charge de pointe.

3. 03

   Matériel pris en charge

   Le moteur doit bien fonctionner sur ce que vous possédez ou louez. TensorRT-LLM ne vise que NVIDIA. vLLM et SGLang couvrent NVIDIA et AMD, avec par endroits la prise en charge d'Intel et d'Ascend. llama.cpp atteint les CPU, Apple Metal, CUDA, AMD et Vulkan ; MLX est réservé à Apple silicon. Les fournisseurs hébergés décident pour vous : Groq utilise ses propres puces LPU, Cerebras ses puces à l'échelle de la plaquette, Together AI et Fireworks des GPU NVIDIA.

4. 04

   Formats de quantification

   La quantification stocke les poids sur moins de bits pour qu'un modèle tienne sur moins de GPU et tourne plus vite, généralement au prix d'une légère perte de qualité. Les formats sont liés au matériel : le FP8 exige des GPU Ada ou Hopper ou plus récents, NVFP4 et MXFP4 exigent Blackwell pour une vitesse native, et GGUF est le format de llama.cpp, d'Ollama et de la plupart des usages sur portable. Vérifiez que le moteur prend en charge le checkpoint exact que vous comptez télécharger, et mesurez la qualité sur votre propre tâche après quantification. Les fournisseurs hébergés publient rarement la précision qu'ils servent, ce qui explique en partie qu'un même modèle puisse répondre différemment chez deux d'entre eux.

5. 05

   API compatible OpenAI et ses lacunes

   Presque toutes les options présentées ici parlent le format chat-completions d'OpenAI : changer revient surtout à modifier une URL de base et un nom de modèle. Les lacunes sont dans les détails : Groq refuse logprobs et logit_bias, Cerebras limite n à 1 et, sur gpt-oss-120b, ne combine pas outils et schéma de réponse, et Together utilise des identifiants de modèle avec espace de noms. Testez les paramètres exacts que votre code envoie, y compris le streaming et les appels d'outils.

6. 06

   Sortie structurée et appel d'outils

   Les agents et les tâches d'extraction ont besoin d'un JSON conforme à un schéma à chaque fois. Les moteurs l'imposent en contraignant les tokens qui peuvent être générés ; SGLang a fait de la génération structurée une fonction centrale, et Together prend en charge response_format sur son API compatible OpenAI. Vérifiez que l'application du schéma fonctionne avec l'appel d'outils et le streaming sur le modèle que vous utilisez, car la prise en charge varie selon le modèle, pas seulement selon le fournisseur.

7. 07

   De nombreux fine-tunes sur un seul modèle de base

   Si vous servez plusieurs fine-tunes LoRA, vérifiez si le moteur ou le fournisseur peut charger de nombreux adaptateurs sur une seule copie du modèle de base et choisir le bon à chaque requête. Sinon, chaque fine-tune a besoin de son propre GPU. Fireworks, par exemple, sert les modèles fine-tunés au même prix que le modèle de base.

8. 08

   Licence et base de tarification

   Les moteurs auto-hébergés sont des logiciels libres, surtout sous Apache 2.0 ou MIT ; vous payez les GPU et les personnes qui les font tourner. Les fournisseurs hébergés facturent par million de tokens, entrée et sortie tarifées séparément, et la plupart ajoutent des remises batch, des remises sur l'entrée en cache et des GPU dédiés à l'heure. À volume élevé et régulier, l'auto-hébergement sur GPU loués l'emporte généralement ; à volume irrégulier ou faible, c'est la facturation au token.

13 outils comparés

Classés selon notre note. Ouvrez un avis pour voir les sources, les prix et le verdict complet.

Outils comparés : Moteurs d'inférence

Outil	Note	Notre verdict	Idéal pour	Prix
llama.cppdépôt	4.8/5	Si un modèle ouvert tourne sur un portable, il tourne presque certainement via llama.cpp, et rien d'autre ne couvre autant de matériel.	Les développeurs qui veulent un contrôle direct sur l'exécution de modèles ouverts localement, sur des appareils edge ou sur des serveurs modestes.	Gratuit et open source sous la licence MIT. Pas d'édition payante.
vLLMdépôt	4.7/5	Toujours le moteur à mettre derrière une API multi-utilisateurs pour un modèle ouvert, à condition que quelqu'un dans l'équipe possède ses mises à niveau et son exposition réseau.	Les équipes qui servent des modèles ouverts à de nombreux utilisateurs simultanés sur des serveurs GPU.	Gratuit et open source sous la licence Apache 2.0. Vous payez les GPU sur lesquels il tourne.
Ollamadépôt	4.6/5	Des modèles locaux en une commande, avec des réglages par défaut (un contexte de 4 096 tokens, une requête à la fois, pas de connexion) qui conviennent à un portable et rien de plus grand.	Les développeurs et individus qui veulent des modèles ouverts tournant localement avec un minimum de configuration.	Open source (MIT) et gratuit à faire tourner localement. Ollama Cloud optionnel : Free avec crédits de démarrage ; Pro 20 $/mois (60 $ de crédits) ; Max 100 $/mois (300 $ de crédits) ; Team 500 $/mois (1 000 $ de crédits partagés, utilisateurs illimités) ; Enterprise sur mesure.
Together AIoutil	4.5/5	Together fait tourner les modèles ouverts à chaque étape sur une seule facture, d'une recharge API de 15 $ à un cluster H100 réservé, et son matériel dédié coûte moins cher que ce que facturent les hébergeurs spécialisés.	Les équipes qui construisent sur des modèles ouverts et veulent passer des appels API à l'affinage et à leurs propres GPU avec un seul fournisseur.	Prépayé, premier achat de 15 $ minimum, pas d'essai gratuit. Par million de tokens, par exemple gpt-oss-120B à 0,15 $ en entrée / 0,60 $ en sortie, Kimi K3 à 3 $ / 15 $ ; jusqu'à 50 % de réduction par lots. Endpoints dédiés : H100 à 5,49 $ de l'heure, B200 à 8,99 $ de l'heure. Clusters GPU : H100 à 3,99 $ de l'heure à la demande, 1,99 $ en préemptible. Affinage à partir de 0,34 $ par million de tokens.
SGLangdépôt	4.4/5	SGLang est bâti pour les charges de travail d'agents et de RL qui renvoient les mêmes longs prompts, et il a sa place derrière un réseau verrouillé.	Les équipes qui servent des modèles ouverts avec une forte réutilisation de prompts, comme les agents et le chat multi-tours.	Gratuit et open source sous la licence Apache 2.0.
MLXdépôt	4.4/5	MLX transforme un Mac à grande mémoire en une machine crédible pour l'inférence locale et le réglage LoRA ; hors d'Apple silicon, c'est un portage, pas une raison de changer.	Les développeurs et chercheurs sur Mac qui veulent une vitesse native et un contrôle Python sur Apple silicon.	Gratuit et open source sous la licence MIT.
Fireworks AIoutil	4.4/5	Fireworks est un hébergement de production sûr pour les modèles ouverts : il ne conserve rien par défaut et sert les modèles affinés au prix des modèles de base, et ses GPU dédiés en sont la seule partie chère.	Les équipes qui font tourner des modèles ouverts en production et veulent du fine-tuning et une tarification par token prévisible.	Crédits prépayés. Par million de tokens, par exemple GPT OSS 120B 0,15 $ en entrée / 0,60 $ en sortie, Kimi K3 3 $ / 15 $. Lots à moitié prix. H100/H200 dédiés 8 $ l'heure, B200 13 $ l'heure. Fine-tuning à partir de 0,50 $ par million de tokens d'entraînement.
audio.cppdépôt	4.3/5	audio.cpp fait pour la parole locale ce que llama.cpp a fait pour les modèles de chat, et quatre mois après ses débuts il fait déjà tourner plus de 110 familles de modèles.	Les ingénieurs qui auto-hébergent plusieurs modèles de parole ou d'audio et veulent un seul runtime natif et une API HTTP plutôt qu'un environnement Python par modèle.	Gratuit sous Apache 2.0. Pas d'édition payante. Les poids des modèles gardent leurs propres licences, beaucoup d'entre elles non commerciales.
colibridépôt	4.2/5	Un moteur C à diffusion disque qui fait tourner des modèles ouverts de 744 milliards de paramètres sur un ordinateur de bureau, lentement, avec en prime un substitut local honnête à l'API de décision Jev.	Les passionnés et développeurs qui veulent faire tourner des modèles MoE ouverts de taille de pointe, ou prototyper des décisions à la Jev, sur leur propre machine.	Gratuit et open source (Apache 2.0). Chaque modèle garde sa propre licence.
TensorRT-LLMdépôt	4.0/5	TensorRT-LLM est là où le nouveau silicium NVIDIA reçoit ses premières optimisations sérieuses, et le prix est une longue liste de CVE et une cadence de versions stables mesurée en saisons.	Les équipes qui font tourner de grandes flottes de GPU NVIDIA et veulent le débit maximum par GPU.	Gratuit et open source sous la licence Apache 2.0 (certains composants fournis portent leurs propres licences).
Groqoutil	4.0/5	Groq vend toujours certains des tokens les plus rapides du marché à prix cassé, mais l'entreprise qui le porte a changé et sa liste de modèles a rétréci en conséquence.	Les développeurs qui construisent des fonctions vocales, en temps réel ou d'agents, pour lesquelles la vitesse de réponse compte plus que le choix du modèle.	Offre gratuite avec limites de débit (30 requêtes/minute et 1 000/jour pour gpt-oss-120b). Offre Developer à l'usage : gpt-oss-120b à 0,15 $ en entrée / 0,60 $ en sortie par million de tokens, gpt-oss-20b à 0,075 $ / 0,30 $, qwen3.8-27b à 0,80 $ / 4,00 $ ; Whisper large-v3-turbo à 0,04 $ par heure d'audio. Llama et certains modèles plus récents via le service commercial.
Cerebrasoutil	4.0/5	Cerebras vend de la vitesse au token, et avec un prix d'entrée plus de deux fois supérieur à celui de Groq pour gpt-oss, il n'est rentable que lorsque la latence est le produit.	Les développeurs qui construisent des agents ou des outils de code sensibles à la latence et qui peuvent travailler avec les modèles gpt-oss ou Qwen.	Crédit d'essai unique de 5 $ (30 jours), puis paiement à l'usage. gpt-oss-120b à 0,35 $ en entrée et 0,75 $ en sortie par million de tokens ; Qwen 3.8 27B à 0,99 $ et 1,49 $. Dedicated Inference sur accord. Abonnements Cerebras Code (50 $ et 200 $ par mois) affichés comme épuisés.
DeepInferdépôt	3.6/5	Un rare regard à l'intérieur d'un service LLM de production, mais pour l'instant c'est un moteur de référence pour un seul modèle sur deux familles de puces, pas quelque chose à mettre derrière une API.	Les ingénieurs d'inférence qui font tourner DeepSeek-V4.1-Flash à l'échelle d'un cluster et veulent les kernels et réglages de DeepSeek comme référence.	Gratuit et open source sous la licence Apache 2.0. Vous payez les GPU Blackwell ou les NPU Ascend.

Côte à côte

Les caractéristiques qui comptent pour cette étape. Vérifiées le 19 oct. 2026 ; confirmez-les sur le site du fournisseur avant de vous engager.

Où s’insère cette étape

• Discuter avec vos documents : nous commencerions par Together AI.
• Agent vocal : nous commencerions par Groq.
• IA privée, sur l'appareil : nous commencerions par Ollama, llama.cpp, MLX.
• Votre propre modèle fine-tuné : nous commencerions par vLLM.

Sources de ce guide

• Artificial Analysis: performance benchmarking methodology
• vLLM docs: quantisation support
• SGLang docs: quantisation
• TensorRT-LLM docs: quantisation
• TensorRT-LLM docs: trtllm-serve
• Groq docs: OpenAI compatibility
• Cerebras docs: OpenAI compatibility
• Together AI docs: OpenAI API compatibility
• Fireworks AI docs: OpenAI compatibility
• DeepInfer on GitHub