본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

소형 언어 모델(Small language model)

소형 언어 모델(small language model, SLM)은 파라미터가 비교적 적은, 보통 수십억 개 이하인 언어 모델로, 대형 모델보다 낮은 비용으로 노트북, 휴대폰, GPU 한 장에서 실행하도록 만들어집니다.

다른 이름: SLM

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

소형 언어 모델은 지식의 폭을 어느 정도 내주는 대신 속도, 낮은 비용, 로컬 하드웨어에서의 실행 능력을 얻습니다. 분류, 추출, 라우팅, 자동 완성, 기기 내 어시스턴트처럼 대규모 언어 모델이 느리거나 비쌀 작업에 적합합니다.

성능을 끌어올리는 방법

소형 모델은 신중하게 고른 학습 데이터에 기댑니다. Microsoft의 Phi-3 보고서는 3.3조 토큰으로 학습한 3.8B(38억) 파라미터 모델 phi-3-mini를 소개하며, 저자들은 휴대폰에서 실행할 수 있을 만큼 작다고 말합니다. 작은 학생 모델이 큰 교사 모델에게서 배우는 지식 증류로 만든 모델도 있습니다.

실행하기

양자화하면 소형 모델은 몇 기가바이트의 메모리에 들어가므로, Ollama나 llama.cpp 같은 도구로 노트북에서 실행할 수 있습니다. GPU 계산기는 주어진 크기에 메모리가 얼마나 필요한지 보여 줍니다.

한계

소형과 대형 사이에 합의된 크기 경계는 없습니다. 소형 모델은 세상 지식을 덜 담고, 길고 여러 단계로 된 추론을 덜 잘하며, 프롬프트 문구에 더 민감합니다. 쉬운 요청은 소형 모델로, 어려운 요청은 더 큰 모델로 보내는 것이 흔한 패턴입니다.

관련 용어

대규모 언어 모델
대규모 언어 모델(LLM, large language model)은 수십억 개의 매개변수를 가진 신경망으로, 대량의 텍스트로 다음 토큰을 예측하도록 학습되어 글쓰기, 질문 답변, 요약, 지시 따르기를 할 수 있습니다.
지식 증류
지식 증류(knowledge distillation)는 더 작은 학생 모델이 더 큰 교사 모델의 출력을 흉내 내도록 학습시키는 방법으로, 교사의 능력을 상당 부분 유지하면서 비용은 낮은 증류 모델을 만듭니다.
로컬 LLM(Local LLM)
로컬 LLM(Local LLM)은 제공업체의 클라우드 API가 아니라 자신의 컴퓨터, 휴대폰, 서버에서 실행하는 언어 모델입니다. 프롬프트와 데이터가 자신의 하드웨어에 남고, 인터넷 연결 없이도 작동합니다.
양자화(Quantization)
양자화(quantization)는 모델의 가중치, 그리고 경우에 따라 활성값을 16비트 대신 8비트나 4비트처럼 더 적은 비트로 저장하는 기법입니다. 모델에 필요한 메모리가 줄고 더 빨리 실행되는 경우가 많지만, 정확도가 다소 떨어집니다.
모델 파라미터(Model parameters)
모델 파라미터(model parameters)는 신경망이 학습 중에 익히는 숫자로, 대부분 가중치입니다. 70억을 7B로 쓰는 파라미터 수는 모델 크기를 나타내는 일반적인 약칭입니다.

출처