Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

GPU serverless

Le GPU serverless est un modèle cloud dans lequel vous déployez du code ou un modèle et la plateforme ne démarre des workers GPU qu'à l'arrivée des requêtes, facture le temps pendant lequel ils tournent et descend à zéro quand il n'y a pas d'activité.

Aussi appelé : serverless inference

Par Divya Sharma · Vérifié le 16 nov. 2026 · Notre méthode

Avec un serveur GPU loué, vous payez à l'heure qu'il soit occupé ou non, et vous gérez la machine. Les plateformes de GPU serverless, comme le produit Serverless de Runpod, Modal, Replicate et Baseten, s'occupent des machines. Vous empaquetez un modèle et un handler, la plateforme lance des conteneurs sur des GPU quand le trafic arrive, en ajoute sous la charge et les retire quand le trafic s'arrête. La documentation de Runpod, par exemple, indique que vous ne payez que pendant que les workers tournent et que les workers redescendent à zéro après un court délai d'inactivité.

Quand c'est adapté

Il convient au trafic irrégulier ou faible : un outil interne, un traitement batch lancé chaque nuit, un modèle d'image utilisé quelques fois par heure, ou un prototype. Vous évitez de payer des GPU inactifs et n'avez pas besoin de gérer votre propre cluster de service de modèles.

Démarrages à froid

Le principal coût est le démarrage à froid. Quand aucun worker ne tourne, la plateforme doit lancer un conteneur et charger le modèle dans la mémoire du GPU avant de pouvoir répondre. Les grands modèles sont plus longs à charger, si bien que la première requête après une période calme peut être lente. Les plateformes proposent des options comme le maintien d'un nombre minimal de workers chauds, moyennant un surcoût, ou la mise en cache des fichiers du modèle près du GPU.

Par rapport aux autres options

À fort volume régulier, un GPU dédié chez un cloud GPU pour l'IA ou l'auto-hébergement coûte souvent moins cher par requête. Si vous n'avez besoin que de modèles populaires, un fournisseur d'inférence facturé au token évite complètement le travail de déploiement. Voir le guide du déploiement pour les options.

Termes liés

Service de modèles
Le service de modèles (model serving) consiste à faire tourner un modèle entraîné comme un service que les applications appellent sur le réseau, avec un logiciel qui charge les poids sur les GPU, met en file et regroupe les requêtes, gère la mémoire et renvoie les résultats.
Cloud GPU
Un cloud GPU est un service qui loue des machines à GPU à l'heure ou à la seconde pour l'entraînement, le fine-tuning et l'inférence en IA. Des fournisseurs spécialisés, parfois appelés neoclouds, se concentrent sur les GPU et facturent souvent moins cher que les grands clouds généralistes.
Fournisseur d'inférence
Un fournisseur d'inférence (inference provider) est une entreprise qui fait tourner des modèles d'IA sur son propre matériel et en vend l'accès par une API, généralement facturée au token. Vous envoyez des prompts et recevez des sorties sans gérer vous-même de GPU.
Auto-hébergement (modèles d'IA)
Auto-héberger un modèle d'IA (self-hosting) signifie le faire tourner sur du matériel que vous contrôlez, comme vos propres serveurs, des GPU loués ou un ordinateur portable, au lieu d'appeler l'API d'un fournisseur. Vous choisissez le modèle et gardez les données, mais vous gérez l'infrastructure.
GPU
Un GPU (graphics processing unit, processeur graphique) est un processeur doté de nombreux petits cœurs conçus pour exécuter beaucoup de calculs en parallèle. Sa rapidité en calcul matriciel en fait le matériel standard pour entraîner et faire tourner les modèles d'IA.

Sources