본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

텐서 병렬화(Tensor parallelism)

텐서 병렬화(tensor parallelism)는 신경망의 각 레이어를 여러 GPU에 나눠, 모든 GPU가 각 가중치 행렬의 일부를 갖고 매 단계에서 자기 몫을 계산하게 하는 방식입니다. GPU 한 장에 들어가지 않는 모델을 여러 장에 걸쳐 실행할 수 있게 합니다.

다른 이름: multi-GPU, pipeline parallelism, model parallelism

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

모델의 가중치가 GPU 한 장의 VRAM에 들어가지 않으면 나눠야 합니다. 주요 방법은 두 가지이며, 서빙 도구는 흔히 둘을 결합합니다.

텐서 병렬화

큰 가중치 행렬을 GPU마다 하나씩 조각으로 자릅니다. 토큰마다 모든 GPU가 같은 레이어를 동시에 각자의 조각에 대해 처리하고, 다음 레이어 전에 부분 결과를 주고받습니다. 이 방식은 NVIDIA의 Megatron-LM이 널리 알렸으며, Megatron-LM은 통신 단계를 몇 개만 더하면 되는 레이어 내부 모델 병렬 방법을 설명했습니다. GPU끼리 레이어마다 통신하므로 텐서 병렬화에는 NVLink 같은 빠른 연결이 필요하며, 보통 한 대의 장비 안에서만 씁니다. vLLM과 SGLang에서는 tensor parallel size라는 설정 하나입니다.

파이프라인 병렬화

파이프라인 병렬화는 대신 레이어 단위로 모델을 나눕니다. GPU 1이 첫 번째 레이어 묶음을, GPU 2가 다음 묶음을 실행하는 식으로 활성값을 넘겨줍니다. 통신이 훨씬 적어 여러 장비에 걸쳐 작동하지만, 많은 요청을 동시에 처리 중으로 유지하지 않으면 GPU가 이전 단계를 기다리며 놀 수 있습니다. Megatron-LM은 둘을 상호 보완적이라고 설명합니다.

왜 중요한가

텐서 병렬화는 대형 오픈 웨이트 모델을 여러 GPU를 갖춘 노드에서 서빙하는 방법이며, GPU마다 토큰당 일이 줄어들므로 지연 시간도 낮출 수 있습니다. GPU 계산기는 모델에 카드가 두 장 이상 필요한 때를 보여 줍니다.

한계

통신 오버헤드는 GPU 수와 함께 커지므로 속도가 선형으로 늘지 않습니다. 빠른 상호 연결이 없는 소비자용 카드에서는 CPU 오프로딩이나 더 작은 양자화 모델이 더 현실적인 선택일 수 있습니다. 전문가 혼합 모델은 세 번째 선택지인 전문가 병렬화를 더합니다.

관련 용어

VRAM
VRAM은 그래픽 카드의 메모리입니다. AI 작업에서는 모델 가중치, KV cache, 작업 데이터를 담으며, 모델이 VRAM에 들어가느냐가 보통 실행에 필요한 GPU를 결정합니다.
모델 서빙(Model serving)
모델 서빙(model serving)은 학습된 모델을 애플리케이션이 네트워크로 호출하는 서비스로 실행하는 것입니다. 가중치를 GPU에 올리고, 요청을 대기열에 넣어 배치로 묶고, 메모리를 관리하고, 결과를 반환하는 소프트웨어를 씁니다.
GPU
GPU(graphics processing unit)는 많은 계산을 병렬로 실행하도록 만든, 작은 코어가 많은 프로세서입니다. 행렬 연산 속도 덕분에 AI 모델을 학습하고 실행하는 표준 하드웨어가 되었습니다.
CPU 오프로딩
CPU 오프로딩(CPU offloading)은 GPU 메모리에 다 들어가지 않는 모델의 일부 층을 시스템 RAM이나 디스크에 두고 나머지에 GPU를 써서 모델을 실행하는 방법입니다. 모델은 돌아가지만 더 느립니다.
전문가 혼합(Mixture of experts)
전문가 혼합(mixture of experts, MoE)은 각 레이어에 여러 전문가 하위 네트워크를 두고, 라우터가 토큰마다 그중 몇 개에만 보내는 모델 설계입니다. 그래서 토큰당 모델의 일부만 실행됩니다.

출처