Tensor parallelism
El tensor parallelism (paralelismo de tensores) divide cada capa de una red neuronal entre varias GPU, de modo que cada GPU guarda parte de cada matriz de pesos y calcula su parte de cada paso. Permite ejecutar en muchas GPU un modelo demasiado grande para una sola.
También llamado: multi-GPU, pipeline parallelism, model parallelism
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Cuando los pesos de un modelo no caben en la VRAM de una GPU, hay que dividirlo. Hay dos formas principales, y las herramientas de serving suelen combinarlas.
Tensor parallelism
Cada matriz de pesos grande se corta en porciones, una por GPU. Para cada token, todas las GPU trabajan en la misma capa a la vez, cada una en su porción, y luego intercambian resultados parciales antes de la siguiente capa. El enfoque lo popularizó Megatron-LM de NVIDIA, que describió un método de paralelismo de modelo dentro de cada capa que solo necesita unos pocos pasos de comunicación adicionales. Como las GPU se comunican en cada capa, el tensor parallelism necesita un enlace rápido como NVLink y suele mantenerse dentro de una sola máquina. En vLLM y SGLang es un único ajuste, el tamaño de tensor parallel.
Pipeline parallelism
El pipeline parallelism divide el modelo por capas: la GPU uno ejecuta el primer bloque de capas, la GPU dos el siguiente, y así sucesivamente, pasándose las activaciones. Necesita mucha menos comunicación, así que funciona entre máquinas, pero una GPU puede quedarse parada esperando a la etapa anterior salvo que se mantengan muchas peticiones en curso. Megatron-LM describe ambos como complementarios.
Por qué importa
El tensor parallelism es la forma en que se sirven los grandes modelos de pesos abiertos en un nodo de varias GPU, y también puede reducir la latencia, ya que cada GPU hace menos trabajo por token. La calculadora de GPU muestra cuándo un modelo necesita más de una tarjeta.
Límites
La sobrecarga de comunicación crece con el número de GPU, así que la velocidad no escala de forma lineal. En tarjetas de consumo sin una interconexión rápida, el CPU offloading o un modelo cuantizado más pequeño pueden ser la opción más práctica. Los modelos mixture-of-experts añaden una tercera opción, el paralelismo de expertos.
Términos relacionados
- VRAM
- La VRAM es la memoria de una tarjeta gráfica. En el trabajo con IA contiene los pesos del modelo, la KV cache y los datos de trabajo, y que un modelo quepa o no en la VRAM suele decidir qué GPU necesitas para ejecutarlo.
- Serving de modelos
- El serving de modelos (model serving) consiste en ejecutar un modelo entrenado como un servicio al que las aplicaciones llaman por la red, con software que carga los pesos en las GPU, pone en cola y agrupa las peticiones, gestiona la memoria y devuelve los resultados.
- GPU
- Una GPU (unidad de procesamiento gráfico) es un procesador con muchos núcleos pequeños diseñado para ejecutar muchos cálculos en paralelo. Su velocidad con las operaciones de matrices la convierte en el hardware estándar para entrenar y ejecutar modelos de IA.
- Descarga a CPU
- La descarga a CPU (CPU offloading) ejecuta un modelo que no cabe en la memoria de la GPU guardando parte de sus capas en la RAM del sistema, o en disco, y usando la GPU para el resto. El modelo funciona, pero más despacio.
- Mixture of experts
- La mixture of experts (MoE, mezcla de expertos) es un diseño de modelo en el que cada capa contiene varias subredes expertas y un router envía cada token solo a unas pocas, de modo que por cada token se ejecuta solo una parte del modelo.