Aller au contenu
ReviewRamble

La lettre hebdomadaire

L’IA, évaluée, dans votre boîte mail.

  • Les nouveaux tests d’outils, de modèles, de serveurs MCP et de dépôts, avec le verdict en premier
  • Les prix et les notes revérifiés quand quelque chose change
  • Les nouvelles analyses dès leur publication

Modèles, agents, serveurs MCP et les outils qui méritent vraiment votre temps.

Un e-mail par semaine. Désinscrivez-vous avec le lien présent dans chaque lettre. Comment nous utilisons votre e-mail

Parallélisme de tenseurs

Le parallélisme de tenseurs (tensor parallelism) répartit chaque couche d'un réseau de neurones sur plusieurs GPU, de sorte que chaque GPU détient une partie de chaque matrice de poids et calcule sa part de chaque étape. Il permet de faire tourner sur plusieurs GPU un modèle trop grand pour un seul.

Aussi appelé : multi-GPU, pipeline parallelism, model parallelism

Par Divya Sharma · Vérifié le 15 nov. 2026 · Notre méthode

Quand les poids d'un modèle ne tiennent pas dans la VRAM d'un seul GPU, il faut le découper. Il existe deux façons principales de le faire, et les outils de service les combinent souvent.

Parallélisme de tenseurs

Chaque grande matrice de poids est découpée en tranches, une par GPU. Pour chaque token, tous les GPU travaillent en même temps sur la même couche, chacun sur sa tranche, puis échangent leurs résultats partiels avant la couche suivante. L'approche a été popularisée par Megatron-LM de NVIDIA, qui décrivait une méthode de parallélisme de modèle intra-couche ne nécessitant que quelques étapes de communication supplémentaires. Comme les GPU communiquent entre eux à chaque couche, le parallélisme de tenseurs exige une liaison rapide comme NVLink et reste généralement cantonné à une seule machine. Dans vLLM et SGLang, c'est un simple réglage, la taille du parallélisme de tenseurs.

Parallélisme de pipeline

Le parallélisme de pipeline découpe plutôt le modèle par couches : le premier GPU exécute le premier bloc de couches, le deuxième le suivant, et ainsi de suite, en se transmettant les activations. Il demande bien moins de communication et fonctionne donc entre machines, mais un GPU peut rester inactif en attendant l'étape précédente, à moins de maintenir de nombreuses requêtes en cours. Megatron-LM présente les deux comme complémentaires.

Pourquoi c'est important

C'est par le parallélisme de tenseurs que les grands modèles open-weight sont servis sur un nœud de plusieurs GPU, et il peut aussi réduire la latence, puisque chaque GPU fait moins de travail par token. Le calculateur de GPU indique quand un modèle a besoin de plus d'une carte.

Limites

Le surcoût de communication augmente avec le nombre de GPU, si bien que la vitesse n'augmente pas linéairement. Sur des cartes grand public sans interconnexion rapide, le CPU offloading ou un modèle quantifié plus petit peut être le choix le plus pratique. Les modèles mixture of experts ajoutent une troisième option, le parallélisme d'experts.

Termes liés

VRAM
La VRAM est la mémoire d'une carte graphique. Pour l'IA, elle contient les poids du modèle, le KV cache et les données de travail, et le fait qu'un modèle tienne ou non dans la VRAM détermine généralement le GPU dont vous avez besoin pour le faire tourner.
Service de modèles
Le service de modèles (model serving) consiste à faire tourner un modèle entraîné comme un service que les applications appellent sur le réseau, avec un logiciel qui charge les poids sur les GPU, met en file et regroupe les requêtes, gère la mémoire et renvoie les résultats.
GPU
Un GPU (graphics processing unit, processeur graphique) est un processeur doté de nombreux petits cœurs conçus pour exécuter beaucoup de calculs en parallèle. Sa rapidité en calcul matriciel en fait le matériel standard pour entraîner et faire tourner les modèles d'IA.
Déchargement sur le CPU
Le déchargement sur le CPU (CPU offloading) permet de faire tourner un modèle qui ne tient pas dans la mémoire du GPU en gardant une partie de ses couches dans la RAM système, ou sur disque, et en utilisant le GPU pour le reste. Le modèle tourne, mais plus lentement.
Mixture of experts
Le mixture of experts (MoE, mélange d'experts) est une architecture de modèle dans laquelle chaque couche contient plusieurs sous-réseaux experts et un routeur envoie chaque token à quelques-uns seulement, si bien qu'une partie seulement du modèle s'exécute par token.

Sources