본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

모델 파라미터(Model parameters)

모델 파라미터(model parameters)는 신경망이 학습 중에 익히는 숫자로, 대부분 가중치입니다. 70억을 7B로 쓰는 파라미터 수는 모델 크기를 나타내는 일반적인 약칭입니다.

다른 이름: parameter count, 7B, total vs active parameters

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

모델 이름이 Llama 7B나 Qwen 72B라면, 그 숫자는 10억 단위의 파라미터 수입니다. 예를 들어 Meta가 처음 공개한 LLaMA는 7B부터 65B 파라미터까지 있었습니다.

크기가 알려 주는 것

파라미터가 많을수록 대개 지식과 능력을 담을 용량이 크지만, 학습 데이터와 방법도 그만큼 중요합니다. LLaMA 논문은 13B 모델이 대부분의 벤치마크에서 175B GPT-3를 앞섰다고 보고합니다. 크기는 대략적인 지침일 뿐 순위가 아닙니다.

메모리

파라미터 수가 모델에 필요한 메모리를 좌우합니다. 각 파라미터는 16비트, 8비트, 4비트 같은 정밀도로 저장되므로, 메모리는 대략 파라미터 수 곱하기 파라미터당 바이트에 KV cache용 공간을 더한 값입니다. 4비트로 양자화하면 가중치 메모리가 16비트 크기의 약 4분의 1로 줄어듭니다. GPU 계산기가 이 계산을 대신 해 줍니다.

전체 파라미터와 활성 파라미터

전문가 혼합 모델에서는 토큰마다 일부 파라미터만 실행됩니다. 35B-A3B 같은 이름은 전체 파라미터 350억 개 중 약 30억 개가 활성이라는 뜻입니다. 속도는 활성 파라미터가 정하지만, 전체가 여전히 VRAM에 들어가야 합니다.

관련 용어

전문가 혼합(Mixture of experts)
전문가 혼합(mixture of experts, MoE)은 각 레이어에 여러 전문가 하위 네트워크를 두고, 라우터가 토큰마다 그중 몇 개에만 보내는 모델 설계입니다. 그래서 토큰당 모델의 일부만 실행됩니다.
VRAM
VRAM은 그래픽 카드의 메모리입니다. AI 작업에서는 모델 가중치, KV cache, 작업 데이터를 담으며, 모델이 VRAM에 들어가느냐가 보통 실행에 필요한 GPU를 결정합니다.
양자화(Quantization)
양자화(quantization)는 모델의 가중치, 그리고 경우에 따라 활성값을 16비트 대신 8비트나 4비트처럼 더 적은 비트로 저장하는 기법입니다. 모델에 필요한 메모리가 줄고 더 빨리 실행되는 경우가 많지만, 정확도가 다소 떨어집니다.
모델 가중치(Model weights)
모델 가중치(model weights)는 신경망 안에서 학습 중에 정해지는 숫자로, 입력을 출력으로 바꾸는 방식을 결정합니다. 체크포인트는 이 가중치를 담은 저장 파일 또는 파일 묶음입니다.
수치 정밀도(FP16, BF16, FP8)
수치 정밀도(numeric precision)는 모델의 가중치를 저장하고 연산을 수행하는 데 쓰는 숫자 형식으로, FP32, FP16, BF16, FP8, INT4 등이 있습니다. 숫자당 비트가 적을수록 메모리가 줄고 추론이 빨라지지만, 정확도가 떨어질 위험이 있습니다.
소형 언어 모델(Small language model)
소형 언어 모델(small language model, SLM)은 파라미터가 비교적 적은, 보통 수십억 개 이하인 언어 모델로, 대형 모델보다 낮은 비용으로 노트북, 휴대폰, GPU 한 장에서 실행하도록 만들어집니다.

출처