본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

VRAM

VRAM은 그래픽 카드의 메모리입니다. AI 작업에서는 모델 가중치, KV cache, 작업 데이터를 담으며, 모델이 VRAM에 들어가느냐가 보통 실행에 필요한 GPU를 결정합니다.

다른 이름: GPU memory

작성 Divya Sharma · 2026년 11월 16일 확인 · 리뷰 방식

GPU는 자체 메모리에 있는 데이터로만 빠르게 연산할 수 있습니다. 모델이 들어가지 않으면 불러오기에 실패하거나, CPU 오프로딩으로 더 느린 시스템 메모리로 넘쳐 속도가 크게 떨어집니다. 그래서 모델을 직접 실행할 때 "VRAM이 얼마나 필요한가?"가 보통 첫 질문입니다.

모델 실행 시 VRAM을 쓰는 것

가중치가 먼저입니다. 파라미터 수 곱하기 파라미터당 바이트입니다. 더 낮은 정밀도나 양자화는 이를 줄이며, 예를 들어 16비트 가중치를 4비트로 줄입니다. 다음은 KV cache로, 컨텍스트 길이와 동시 요청 수에 따라 커집니다. 서빙 엔진에도 작업 공간과 오버헤드가 어느 정도 필요합니다.

학습에는 더 필요합니다

학습은 가중치에 더해 그래디언트, 옵티마이저 상태, 저장된 활성값을 더합니다. Hugging Face 가이드는 Adam만으로 파라미터당 8바이트가 더해지며, 모델 자체는 들어가더라도 배치 크기나 시퀀스 길이 때문에 GPU 메모리가 바닥날 수 있다고 지적합니다. LoRA와 QLoRA 같은 방법이 존재하는 이유입니다.

추정하기

GPU 계산기는 주어진 모델, 정밀도, 컨텍스트 길이에 대한 VRAM을 추정합니다. 카드를 꽉 채우려 하지 말고 여유를 두십시오. Mac과 일부 최신 칩은 CPU와 GPU가 하나의 풀을 공유하는 통합 메모리를 써서, 대부분의 소비자용 그래픽 카드보다 큰 모델을 더 느린 속도로 불러올 수 있습니다. 로컬에 충분히 큰 것이 없다면 AI GPU 클라우드에서 카드를 빌리십시오.

관련 용어

양자화(Quantization)
양자화(quantization)는 모델의 가중치, 그리고 경우에 따라 활성값을 16비트 대신 8비트나 4비트처럼 더 적은 비트로 저장하는 기법입니다. 모델에 필요한 메모리가 줄고 더 빨리 실행되는 경우가 많지만, 정확도가 다소 떨어집니다.
모델 파라미터(Model parameters)
모델 파라미터(model parameters)는 신경망이 학습 중에 익히는 숫자로, 대부분 가중치입니다. 70억을 7B로 쓰는 파라미터 수는 모델 크기를 나타내는 일반적인 약칭입니다.
KV 캐시
KV 캐시(KV cache)는 트랜스포머가 이전 토큰들에 대해 이미 계산한 어텐션 키와 값을 저장해, 새 토큰마다 그 토큰 자체에 대한 작업만 하면 되게 합니다. 생성 속도를 높이지만, 컨텍스트 길이에 따라 늘어나는 GPU 메모리를 차지합니다.
GPU
GPU(graphics processing unit)는 많은 계산을 병렬로 실행하도록 만든, 작은 코어가 많은 프로세서입니다. 행렬 연산 속도 덕분에 AI 모델을 학습하고 실행하는 표준 하드웨어가 되었습니다.
통합 메모리(Unified memory)
통합 메모리(unified memory)는 CPU와 GPU가 각자 메모리를 갖는 대신 하나의 메모리 풀을 공유하는 설계입니다. Apple Silicon Mac과 비슷한 칩에서는 로컬 AI 모델이 시스템 RAM 대부분을 GPU 메모리로 쓸 수 있게 해 줍니다.
로컬 LLM(Local LLM)
로컬 LLM(Local LLM)은 제공업체의 클라우드 API가 아니라 자신의 컴퓨터, 휴대폰, 서버에서 실행하는 언어 모델입니다. 프롬프트와 데이터가 자신의 하드웨어에 남고, 인터넷 연결 없이도 작동합니다.

출처