본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

ONNX

ONNX(Open Neural Network Exchange)는 머신러닝 모델을 위한 개방형 파일 형식입니다. 모델을 표준 연산자의 그래프로 기술하므로, 한 프레임워크에서 학습하고 다른 곳에서 실행할 수 있습니다.

다른 이름: Open Neural Network Exchange, .onnx

작성 Divya Sharma · 2026년 11월 15일 확인 · 리뷰 방식

모델은 보통 PyTorch 같은 프레임워크에서 학습하지만, 실행하려는 곳은 휴대폰, 브라우저, Python이 없는 서버, 또는 자체 런타임을 가진 칩일 수 있습니다. ONNX는 그 둘 사이의 공통 형식입니다. 모델을 .onnx 파일로 한 번 내보내면 ONNX를 지원하는 어떤 런타임이든 불러올 수 있습니다.

작동 방식

ONNX 파일에는 연산 그래프가 들어 있습니다. 행렬 곱이나 softmax 같은 연산 노드, 노드 사이의 연결, 그리고 모델 가중치입니다. 연산자는 opset이라는 버전이 매겨진 표준 집합에서 오므로, 런타임은 각 노드가 무엇을 뜻하는지 정확히 압니다. 가장 많이 쓰이는 엔진은 ONNX Runtime이며, 그래프의 일부를 GPU, NPU, 기타 가속기에 넘길 수 있습니다.

쓰이는 곳

ONNX는 여러 기기에서 빠르게 실행되어야 하는 비교적 작은 모델에 흔합니다. 임베딩 모델, 리랭커, 비전 및 음성 모델, 브라우저 속 모델 등입니다. 가장 큰 LLM을 서빙할 때는 덜 쓰이는데, 이 경우 vLLM이나 GGUF 기반 실행기 같은 전용 엔진이 보통 가중치를 직접 불러옵니다.

Safetensors와의 차이

Safetensors는 가중치만 저장하므로, 모델을 정의하는 코드가 여전히 필요합니다. ONNX는 가중치와 연산 그래프를 함께 저장하므로 파일이 모델 전체를 기술합니다. 그래서 이식성이 좋지만, 특이한 레이어에서는 내보내기가 실패할 수 있고, 실행 중에 형태가 바뀌는 모델은 내보내기가 까다로울 수 있습니다.

한계

모든 런타임이 모든 연산자나 opset 버전을 지원하지는 않으며, 양자화된 ONNX 모델은 하드웨어에 따라 다르게 동작할 수 있습니다. 배포하기 전에 내보낸 모델을 원본과 비교해 테스트하십시오.

관련 용어

모델 가중치(Model weights)
모델 가중치(model weights)는 신경망 안에서 학습 중에 정해지는 숫자로, 입력을 출력으로 바꾸는 방식을 결정합니다. 체크포인트는 이 가중치를 담은 저장 파일 또는 파일 묶음입니다.
Safetensors
Safetensors는 Hugging Face가 만든 모델 가중치 저장용 파일 형식입니다. Python pickle 파일과 달리 불러올 때 숨겨진 코드가 실행될 수 없으며, 개별 텐서를 메모리 매핑으로 빠르게 불러올 수 있습니다.
GGUF
GGUF는 모델의 가중치, 토크나이저, 메타데이터를 파일 하나에 저장하는 바이너리 파일 형식으로, llama.cpp 같은 GGML 기반 도구에서 빠르게 불러와 로컬 추론을 하도록 만들어졌으며 흔히 양자화된 형태로 쓰입니다.
추론(인퍼런스)
추론(inference, 인퍼런스)은 학습된 모델을 실행해 새로운 입력으로 출력을 만드는 것으로, LLM이 프롬프트에 대한 답을 생성하는 것이 그 예입니다. 학습과 달리, 사용자가 모델을 호출할 때마다 비용을 내는 단계입니다.
NPU
NPU(neural processing unit, 신경망 처리 장치)는 신경망 연산을 빠르고 적은 전력으로 실행하도록 만든 칩, 또는 더 큰 칩 안의 블록입니다. 휴대폰과 노트북은 NPU로 작은 AI 모델을 기기에서 실행합니다.
양자화(Quantization)
양자화(quantization)는 모델의 가중치, 그리고 경우에 따라 활성값을 16비트 대신 8비트나 4비트처럼 더 적은 비트로 저장하는 기법입니다. 모델에 필요한 메모리가 줄고 더 빨리 실행되는 경우가 많지만, 정확도가 다소 떨어집니다.

출처