Tensor parallelism
O tensor parallelism (paralelismo de tensores) divide cada camada de uma rede neural entre várias GPUs, para que cada GPU guarde parte de cada matriz de pesos e calcule sua parcela de cada passo. Ele permite que um modelo grande demais para uma GPU rode em várias.
Também chamado: multi-GPU, pipeline parallelism, model parallelism
Por Divya Sharma · Verificado em 15 de nov. de 2026 · Como analisamos
Quando os pesos de um modelo não cabem na VRAM de uma GPU, é preciso dividi-lo. Há duas formas principais, e as ferramentas de serving muitas vezes as combinam.
Tensor parallelism
Cada matriz de pesos grande é cortada em fatias, uma por GPU. Para cada token, todas as GPUs trabalham na mesma camada ao mesmo tempo, cada uma na sua fatia, e então trocam resultados parciais antes da próxima camada. A abordagem foi popularizada pelo Megatron-LM, da NVIDIA, que descreveu um método de paralelismo de modelo dentro da camada que precisava de apenas alguns passos de comunicação adicionais. Como as GPUs se comunicam a cada camada, o tensor parallelism precisa de uma conexão rápida como o NVLink, e geralmente fica dentro de uma única máquina. No vLLM e no SGLang, ele é uma única configuração, o tensor parallel size.
Pipeline parallelism
O pipeline parallelism divide o modelo por camadas: a GPU um roda o primeiro bloco de camadas, a GPU dois o seguinte, e assim por diante, passando as ativações adiante. Ele precisa de muito menos comunicação, então funciona entre máquinas, mas uma GPU pode ficar ociosa esperando a etapa anterior, a menos que muitas requisições sejam mantidas em andamento. O Megatron-LM descreve os dois como complementares.
Por que importa
O tensor parallelism é como grandes modelos open-weight são servidos em um nó com várias GPUs, e ele também pode reduzir a latência, já que cada GPU faz menos trabalho por token. A calculadora de GPU mostra quando um modelo precisa de mais de uma placa.
Limites
O custo de comunicação cresce com o número de GPUs, então a velocidade não escala de forma linear. Em placas de consumo sem interconexão rápida, o CPU offloading ou um modelo quantizado menor pode ser a escolha mais prática. Modelos mixture-of-experts adicionam uma terceira opção, o expert parallelism.
Termos relacionados
- VRAM
- VRAM é a memória de uma placa de vídeo. No trabalho com IA, ela guarda os pesos do modelo, o KV cache e os dados de trabalho, e saber se um modelo cabe na VRAM geralmente decide qual GPU você precisa para rodá-lo.
- Model serving
- Model serving (servir modelos) é rodar um modelo treinado como um serviço que as aplicações chamam pela rede, com um software que carrega os pesos nas GPUs, enfileira e agrupa requisições, gerencia a memória e retorna os resultados.
- GPU
- Uma GPU (graphics processing unit, unidade de processamento gráfico) é um processador com muitos núcleos pequenos, feito para executar muitos cálculos em paralelo. Sua velocidade em operações com matrizes faz dela o hardware padrão para treinar e rodar modelos de IA.
- CPU offloading
- CPU offloading (descarregamento para a CPU) roda um modelo que não cabe na memória da GPU mantendo algumas de suas camadas na RAM do sistema, ou em disco, e usando a GPU para o resto. O modelo roda, mas mais devagar.
- Mixture of experts
- Mixture of experts (MoE, mistura de especialistas) é um design de modelo em que cada camada tem várias sub-redes especialistas e um roteador envia cada token a apenas algumas delas, então só parte do modelo roda por token.