텐서 병렬화(Tensor parallelism)
텐서 병렬화(tensor parallelism)는 신경망의 각 레이어를 여러 GPU에 나눠, 모든 GPU가 각 가중치 행렬의 일부를 갖고 매 단계에서 자기 몫을 계산하게 하는 방식입니다. GPU 한 장에 들어가지 않는 모델을 여러 장에 걸쳐 실행할 수 있게 합니다.
다른 이름: multi-GPU, pipeline parallelism, model parallelism
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
모델의 가중치가 GPU 한 장의 VRAM에 들어가지 않으면 나눠야 합니다. 주요 방법은 두 가지이며, 서빙 도구는 흔히 둘을 결합합니다.
텐서 병렬화
큰 가중치 행렬을 GPU마다 하나씩 조각으로 자릅니다. 토큰마다 모든 GPU가 같은 레이어를 동시에 각자의 조각에 대해 처리하고, 다음 레이어 전에 부분 결과를 주고받습니다. 이 방식은 NVIDIA의 Megatron-LM이 널리 알렸으며, Megatron-LM은 통신 단계를 몇 개만 더하면 되는 레이어 내부 모델 병렬 방법을 설명했습니다. GPU끼리 레이어마다 통신하므로 텐서 병렬화에는 NVLink 같은 빠른 연결이 필요하며, 보통 한 대의 장비 안에서만 씁니다. vLLM과 SGLang에서는 tensor parallel size라는 설정 하나입니다.
파이프라인 병렬화
파이프라인 병렬화는 대신 레이어 단위로 모델을 나눕니다. GPU 1이 첫 번째 레이어 묶음을, GPU 2가 다음 묶음을 실행하는 식으로 활성값을 넘겨줍니다. 통신이 훨씬 적어 여러 장비에 걸쳐 작동하지만, 많은 요청을 동시에 처리 중으로 유지하지 않으면 GPU가 이전 단계를 기다리며 놀 수 있습니다. Megatron-LM은 둘을 상호 보완적이라고 설명합니다.
왜 중요한가
텐서 병렬화는 대형 오픈 웨이트 모델을 여러 GPU를 갖춘 노드에서 서빙하는 방법이며, GPU마다 토큰당 일이 줄어들므로 지연 시간도 낮출 수 있습 니다. GPU 계산기는 모델에 카드가 두 장 이상 필요한 때를 보여 줍니다.
한계
통신 오버헤드는 GPU 수와 함께 커지므로 속도가 선형으로 늘지 않습니다. 빠른 상호 연결이 없는 소비자용 카드에서는 CPU 오프로딩이나 더 작은 양자화 모델이 더 현실적인 선택일 수 있습니다. 전문가 혼합 모델은 세 번째 선택지인 전문가 병렬화를 더합니다.
관련 용어
- VRAM
- VRAM은 그래픽 카드의 메모리입니다. AI 작업에서는 모델 가중치, KV cache, 작업 데이터를 담으며, 모델이 VRAM에 들어가느냐가 보통 실행에 필요한 GPU를 결정합니다.
- 모델 서빙(Model serving)
- 모델 서빙(model serving)은 학습된 모델을 애플리케이션이 네트워크로 호출하는 서비스로 실행하는 것입니다. 가중치를 GPU에 올리고, 요청을 대기열에 넣어 배치로 묶고, 메모리를 관리하고, 결과를 반환하는 소프트웨어를 씁니다.
- GPU
- GPU(graphics processing unit)는 많은 계산을 병렬로 실행하도록 만든, 작은 코어가 많은 프로세서입니다. 행렬 연산 속도 덕분에 AI 모델을 학습하고 실행하는 표준 하드웨어가 되었습니다.
- CPU 오프로딩
- CPU 오프로딩(CPU offloading)은 GPU 메모리에 다 들어가지 않는 모델의 일부 층을 시스템 RAM이나 디스크에 두고 나머지에 GPU를 써서 모델을 실행하는 방법입니다. 모델은 돌아가지만 더 느립니다.
- 전문가 혼합(Mixture of experts)
- 전문가 혼합(mixture of experts, MoE)은 각 레이어에 여러 전문가 하위 네트워크를 두고, 라우터가 토큰마다 그중 몇 개에만 보내는 모델 설계입니다. 그래서 토큰당 모델의 일부만 실행됩니다.