전문가 혼합(Mixture of experts)
전문가 혼합(mixture of experts, MoE)은 각 레이어에 여러 전문가 하위 네트워크를 두고, 라우터가 토큰마다 그중 몇 개에만 보내는 모델 설계입니다. 그래서 토큰당 모델의 일부만 실행됩니다.
다른 이름: MoE, sparse model, active parameters, A3B
작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식
MoE를 쓰면 모델이 한 토큰에 쓰는 것보다 훨씬 많은 파라미터를 보유할 수 있습니다. 큰 모델의 지식 용량을 가지면서도 토큰당 연산은 훨씬 작은 모델 수준입니다.
작동 방식
트랜스포머에서 각 레이어의 피드포워드 블록을 여러 전문가와 작은 라우터, 즉 게이팅 네트워크로 바꿉니다. 라우터는 토큰마다 전문가 몇 개를 골라 실행하고 그 출력을 결합합니다. 현대적인 형태는 희소 게이팅 MoE 레이어에 관한 Shazeer 등의 2017년 논문으로 거슬러 올라갑니다.
전체 파라미터와 활성 파라미터
Mistral의 Mixtral 8x7B는 레이어마다 전문가 8개가 있고, 라우터가 토큰마다 2개를 고릅니다. 논문에 따르면 각 토큰은 47B 파라미터에 접근할 수 있지만 활성 파라미터는 13B만 씁니다. 모델 이름에 두 숫자가 함께 나오는 경우가 많습니다. Clover 35B-A3B 같은 이름에서 35B는 전체, A3B는 약 3B가 활성이라는 뜻입니다.
주의할 점
속도는 활성 파라미터가 정하지만, 모든 전문가가 여전히 메모리에 올라가 있어야 합니다. 35B MoE 모델은 토큰 생성 속도가 3B 모델에 가깝더라도 dense 35B 모델과 비슷한 VRAM이 필요합니다. GPU 계산기로 수치를 확인하 십시오.
관련 용어
- 모델 파라미터(Model parameters)
- 모델 파라미터(model parameters)는 신경망이 학습 중에 익히는 숫자로, 대부분 가중치입니다. 70억을 7B로 쓰는 파라미터 수는 모델 크기를 나타내는 일반적인 약칭입니다.
- VRAM
- VRAM은 그래픽 카드의 메모리입니다. AI 작업에서는 모델 가중치, KV cache, 작업 데이터를 담으며, 모델이 VRAM에 들어가느냐가 보통 실행에 필요한 GPU를 결정합니다.
- 대규모 언어 모델
- 대규모 언어 모델(LLM, large language model)은 수십억 개의 매개변수를 가진 신경망으로, 대량의 텍스트로 다음 토큰을 예측하도록 학습되어 글쓰기, 질문 답변, 요약, 지시 따르기를 할 수 있습니다.
- 트랜스포머(아키텍처)
- 트랜스포머(transformer)는 2017년에 소개된 신경망 아키텍 처로, 순환 대신 어텐션으로 시퀀스를 처리합니다. 현재 거의 모든 대규모 언어 모델과 많은 이미지 및 오디오 모델의 바탕입니다.
- 양자화(Quantization)
- 양자화(quantization)는 모델의 가중치, 그리고 경우에 따라 활성값을 16비트 대신 8비트나 4비트처럼 더 적은 비트로 저장하는 기법입니다. 모델에 필요한 메모리가 줄고 더 빨리 실행되는 경우가 많지만, 정확도가 다소 떨어집니다.