모델 파라미터(Model parameters)
모델 파라미터(model parameters)는 신경망이 학습 중에 익히는 숫자로, 대부분 가중치입니다. 70억을 7B로 쓰는 파라미터 수는 모델 크기를 나타내는 일반적인 약칭입니다.
다른 이름: parameter count, 7B, total vs active parameters
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
모델 이름이 Llama 7B나 Qwen 72B라면, 그 숫자는 10억 단위의 파라미터 수입니다. 예를 들어 Meta가 처음 공개한 LLaMA는 7B부터 65B 파라미터까지 있었습니다.
크기가 알려 주는 것
파라미터가 많을수록 대개 지식과 능력을 담을 용량이 크지만, 학습 데이터와 방법도 그만큼 중요합니다. LLaMA 논문은 13B 모델이 대부분의 벤치마크에서 175B GPT-3를 앞섰다고 보고합니다. 크기는 대략적인 지침일 뿐 순위가 아닙니다.
메모리
파라미터 수가 모델에 필요한 메모리를 좌우합니다. 각 파라미터는 16비트, 8비트, 4비트 같은 정밀도로 저장되므로, 메모리는 대략 파라미터 수 곱하기 파라미터당 바이트에 KV cache용 공간을 더한 값입니다. 4비트로 양자화하면 가중치 메모리가 16비트 크기의 약 4분의 1로 줄어듭니다. GPU 계산기가 이 계산을 대신 해 줍니다.
전체 파라미터와 활성 파라미터
전문가 혼합 모델에서는 토큰마다 일부 파라미터만 실행됩니다. 35B-A3B 같은 이름은 전체 파라미터 350억 개 중 약 30억 개가 활성이라는 뜻입니다. 속도는 활성 파라미터가 정하지만, 전체가 여전히 VRAM에 들어가야 합니다.
관련 용어
- 전문가 혼합(Mixture of experts)
- 전문가 혼합(mixture of experts, MoE)은 각 레이어에 여러 전문가 하위 네트워크를 두고, 라우터가 토큰마다 그중 몇 개에만 보내는 모델 설계입니다. 그래서 토큰당 모델의 일부만 실행됩니다.
- VRAM
- VRAM은 그래픽 카드의 메모리입니다. AI 작업에서는 모델 가중치, KV cache, 작업 데이터를 담으며, 모델이 VRAM에 들어가느냐가 보통 실행에 필요한 GPU를 결정합니다.
- 양자화(Quantization)
- 양자화(quantization)는 모델의 가중치, 그리고 경우에 따라 활성값을 16비트 대신 8비트나 4비트처럼 더 적은 비트로 저장하는 기법입니다. 모델에 필요한 메모리가 줄고 더 빨리 실행되는 경우가 많지만, 정확도가 다소 떨어집니다.
- 모델 가중치(Model weights)
- 모델 가중치(model weights)는 신경망 안에서 학습 중에 정해지는 숫자로, 입력을 출력으로 바꾸는 방식을 결정합니다. 체크포인트는 이 가중치를 담은 저장 파일 또는 파일 묶음입니다.
- 수치 정밀도(FP16, BF16, FP8)
- 수치 정밀도(numeric precision)는 모델의 가중치를 저장하고 연산을 수행하는 데 쓰는 숫자 형식으로, FP32, FP16, BF16, FP8, INT4 등이 있습니다. 숫자당 비트가 적을수록 메모리가 줄고 추론이 빨라지지만, 정확도가 떨어질 위험이 있습니다.
- 소형 언어 모델(Small language model)
- 소형 언어 모델(small language model, SLM)은 파라미터가 비교적 적은, 보통 수십억 개 이하인 언어 모델로, 대형 모델보다 낮은 비용으로 노트북, 휴대폰, GPU 한 장에서 실행하도록 만들어집니다.