본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

NPU

NPU(neural processing unit, 신경망 처리 장치)는 신경망 연산을 빠르고 적은 전력으로 실행하도록 만든 칩, 또는 더 큰 칩 안의 블록입니다. 휴대폰과 노트북은 NPU로 작은 AI 모델을 기기에서 실행합니다.

다른 이름: neural processing unit, AI accelerator

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

NPU는 신경망이 대부분의 시간을 쓰는 행렬 및 벡터 연산을 위한 전용 프로세서입니다. 단독으로 있을 수도 있고, CPU나 GPU 안에 들어 있을 수도 있습니다. 대부분의 사람은 휴대폰이나 최신 노트북에서 NPU를 접하며, 사진 처리, 음성 인식, 영상 통화 배경 흐림, 기기 내 소형 언어 모델 같은 작업을 맡습니다.

개발자에게 중요한 이유

소비자 기기의 NPU는 모든 일에 빠르기보다 작고 전력 효율이 좋도록 설계됩니다. 그래서 소형 언어 모델과 배터리를 많이 써서는 안 되는 짧고 잦은 작업에 잘 맞습니다. 대형 모델에는 맞지 않습니다. 노트북 NPU에는 데이터 센터 GPU만 한 메모리나 처리량이 없습니다.

NPU는 보통 INT8이나 INT4 같은 저정밀도 숫자 형식으로 작동하므로, 모델은 대개 NPU에서 실행하기 전에 양자화합니다. 이런 형식의 의미는 수치 정밀도를 참고하십시오.

프로그래밍 방법

단일 표준은 없습니다. Apple Core ML, Intel OpenVINO, AMD Ryzen AI, Qualcomm의 SDK처럼 칩 제조사마다 자체 툴킷을 내놓으며, 모델을 먼저 ONNX 같은 형식으로 변환해야 하는 경우가 많습니다. 제조사는 NPU 속도를 TOPS(초당 조 단위 연산)로 표시하는데, 이 수치는 보통 INT8 연산 기준이며 칩끼리 비교하기 어렵습니다.

NPU, GPU, TPU

GPU는 범용 병렬 프로세서로, AI에도 마침 잘 맞습니다. NPU는 더 좁은 용도로, 효율적인 기기 내 추론을 겨냥합니다. TPU는 Google이 직접 설계한 가속기로, 데이터 센터 버전은 Google Cloud를 통해 빌려 씁니다.

관련 용어

GPU
GPU(graphics processing unit)는 많은 계산을 병렬로 실행하도록 만든, 작은 코어가 많은 프로세서입니다. 행렬 연산 속도 덕분에 AI 모델을 학습하고 실행하는 표준 하드웨어가 되었습니다.
TPU
TPU(tensor processing unit, 텐서 처리 장치)는 Google이 머신러닝용으로 직접 만든 칩으로, 대형 행렬 곱셈 장치와 고대역폭 메모리를 중심으로 설계되었습니다. Google은 TPU를 Google Cloud의 임대 서비스로 다른 회사에 제공합니다.
로컬 LLM(Local LLM)
로컬 LLM(Local LLM)은 제공업체의 클라우드 API가 아니라 자신의 컴퓨터, 휴대폰, 서버에서 실행하는 언어 모델입니다. 프롬프트와 데이터가 자신의 하드웨어에 남고, 인터넷 연결 없이도 작동합니다.
소형 언어 모델(Small language model)
소형 언어 모델(small language model, SLM)은 파라미터가 비교적 적은, 보통 수십억 개 이하인 언어 모델로, 대형 모델보다 낮은 비용으로 노트북, 휴대폰, GPU 한 장에서 실행하도록 만들어집니다.
양자화(Quantization)
양자화(quantization)는 모델의 가중치, 그리고 경우에 따라 활성값을 16비트 대신 8비트나 4비트처럼 더 적은 비트로 저장하는 기법입니다. 모델에 필요한 메모리가 줄고 더 빨리 실행되는 경우가 많지만, 정확도가 다소 떨어집니다.

출처