22단계 중 16단계
추론 엔진
자체 GPU나 제공업체의 GPU에서 모델을 빠르고 저렴하게 실행합니다. 서빙은 지연 시간과 비용을 결정합니다. 오픈 모델은 효율적으로 서빙할 수 있을 때만 이득이 됩니다.
작성자 Andrew Miller · 2026년 10월 19일 확인 · 리뷰 방법
고르는 방법
- 프로덕션 GPU: vLLM이나 SGLang 같은 고처리량 서버.
- 노트북과 엣지 기기: llama.cpp, Ollama, MLX.
- 관리할 GPU 없이: 토큰당 과금하는 호스팅 추론 제공업체.
확인할 점
선택지를 가르는 질문을 중요한 순서대로 정리했습니다.
01
처리량인가 지연 시간인가: 무엇을 사는지 정하십시오
처리량은 모든 사용자에 걸친 초당 총 토큰 수이며, 토큰당 비용을 정합니다. 지연 시간은 한 사용자가 느끼는 것으로, 그 요청의 첫 토큰까지 걸리는 시간(TTFT)과 출력 속도입니다. vLLM과 SGLang 같은 엔진은 많은 요청을 묶어 처리량을 높이는데, 이 때문에 개별 스트림이 느려질 수 있습니다. 전용 칩(Groq, Cerebras)은 사용자당 매우 높은 속도를 팝니다. 챗봇에는 낮은 TTFT가, 야간 배치 작업에는 처리량이, 수십 번의 순차 호출을 하는 에이전트에는 둘 다 필요합니다.
02
Artificial Analysis 공급자 벤치마크 읽는 법
Artificial Analysis는 같은 모델을 제공하는 모든 공급자의 시간을 잽니다. 출력 속도는 첫 토큰이 도착한 뒤의 초당 토큰 수이고, TTFT는 첫 토큰까지의 초입니다. 추론 모델에서는 첫 추론 토큰을 뜻하므로 첫 답변 토큰까지의 시간도 확인하십시오. 수치는 지난 72시간의 중앙값이고, 기본 프롬프트는 입력 약 10,000 토큰이며, 테스트는 Iowa의 Google Cloud 리전 한 곳에서 돌기 때문에 TTFT에는 그곳으로부터의 네트워크 거리가 포함됩니다. 대부분의 테스트는 한 번에 요청 하나를 보내고, 병렬 테스트도 하루에 한 번 10개만 보내므로, 차트는 공급자가 내 최대 부하에서 어떻게 버티는지에 대해 거의 알려 주지 않습니다.
03
하드웨어 지원
엔진은 내가 소유하거나 빌리는 하드웨어에서 잘 돌아야 합니다. TensorRT-LLM은 NVIDIA만 대상으로 합니다. vLLM과 SGLang은 NVIDIA와 AMD를 다루고, 일부에서 Intel과 Ascend를 지원합니다. llama.cpp는 CPU, Apple Metal, CUDA, AMD, Vulkan까지 닿고, MLX는 Apple 실리콘 전용입니다. 호스팅 공급자는 이를 대신 정합니다. Groq는 자체 LPU 칩을, Cerebras는 웨이퍼 규모 칩을, Together AI와 Fireworks는 NVIDIA GPU를 씁니다.
04
양자화 형식
양자화는 웨이트를 더 적은 비트로 저장해 모델이 더 적은 GPU에 들어가고 더 빨리 돌게 하며, 대개 품질 손실은 작습니다. 형식은 하드웨어에 묶여 있습니다. FP8은 Ada나 Hopper 이상 GPU가 필요하고, NVFP4와 MXFP4는 네이티브 속도를 위해 Blackwell이 필요하며, GGUF는 llama.cpp, Ollama, 그리고 대부분의 노트북 사용을 위한 형식입니다. 엔진이 내려받으려는 바로 그 체크포인트를 지원하는지 확인하고, 양자화한 뒤 내 작업으로 품질을 벤치마크하십시오. 호스팅 공급자는 제공하는 정밀도를 거의 공개하지 않으며, 같은 모델이 두 공급자에서 다르게 답할 수 있는 이유 가운데 하나입니다.
05
OpenAI 호환 API와 그 빈틈
여기 있는 거의 모든 선택지가 OpenAI chat-completions 형식을 쓰므로, 전환은 대부분 기본 URL과 모델 이름을 바꾸는 일입니다. 빈틈은 세부에 있습니다. Groq는 logprobs와 logit_bias를 거부하고, Cerebras는 n을 1로 제한하며 gpt-oss-120b에서는 도구와 응답 스키마를 함께 쓰지 않고, Together는 네임스페이스가 붙은 모델 ID를 씁니다. 스트리밍과 도구 호출을 포함해 코드가 보내는 정확한 매개변수로 시험하십시오.
06
구조화된 출력과 도구 호출
에이전트와 추출 작업에는 매번 스키마에 맞는 JSON이 필요합니다. 엔진은 생성될 수 있는 토큰을 제약해 이를 강제합니다. SGLang은 구조화된 생성을 핵심 기능으로 삼았고, Together는 OpenAI 호환 API에서 response_format을 지원합니다. 지원 여부는 공급자만이 아니라 모델마다 다르므로, 쓰는 모델에서 스키마 강제가 도구 호출 및 스트리밍과 함께 작동하는지 확인하십시오.
07
베이스 모델 하나에 여러 파인튜닝
LoRA 파인튜닝 여러 개를 서빙한다면, 엔진이나 공급자가 베이스 모델 한 벌에 많은 어댑터를 올리고 요청마다 맞는 것을 고를 수 있는지 확인하십시오. 그렇지 않으면 파인튜닝마다 GPU가 따로 필요합니다. 예를 들어 Fireworks는 파인튜닝한 모델을 베이스 모델과 같은 가격으로 서빙합니 다.
08
라이선스와 가격 기준
자체 호스팅 엔진은 대부분 Apache 2.0이나 MIT인 자유 소프트웨어이고, GPU와 이를 운영할 사람에게 비용을 냅니다. 호스팅 공급자는 입력과 출력을 따로 매겨 백만 토큰당 과금하며, 대부분 배치 할인, 캐시된 입력 할인, 시간당 전용 GPU를 더합니다. 꾸준히 많은 양이라면 대개 빌린 GPU에서의 자체 호스팅이 이기고, 들쭉날쭉하거나 적은 양이라면 토큰당 과금이 이깁니다.
선택지별 차이
자체 호스팅 엔진은 내 하드웨어나 빌린 하드웨어에서 돌리는 소프트웨어입니다. 서버 엔진(vLLM, SGLang, TensorRT-LLM)은 데이터센터 GPU와 많은 동시 사용자를 위해 만들어졌습니다. vLLM은 폭넓은 기본값이고, SGLang은 요청들이 긴 접두부를 공유할 때 뛰어나며, TensorRT-LLM은 복잡함을 대가로 NVIDIA 하드웨어에서 최대 성능을 짜냅니다. 로컬 엔진(llama.cpp, Ollama, MLX, colibri)은 노트북, 워크스테이션, 엣지 기기의 사용자 한 명을 위해 만들어졌습니다. llama.cpp는 이식성 있는 핵심이고, Ollama는 이를 명령 하나로 쓰게 감싸며, MLX는 Apple 실리콘을 겨냥하고, colibri는 디스크에서 전문가를 스트리밍해 매우 큰 전문가 혼합 모델을 평범한 머신에서 느리게 돌립니다.
호스팅 추론 공급자(Groq, Cerebras, Together AI, Fireworks AI)는 모델을 대신 돌리고 토큰당 과금합니다. Groq와 Cerebras는 자체 칩을 만들어 소수의 모델에서 순수 속도로 앞서고, Together AI와 Fireworks는 NVIDIA GPU로 폭넓은 카탈로그, 파인튜닝, 전용 엔드포인트를 제공합니다. 하 드웨어, 양자화, 데이터 위치에 대한 제어를 운영 부담 제로와 맞바꾸는 셈입니다.
도구 13개 비교
저희 평점 순입니다. 각 리뷰에서 출처, 가격, 전체 평가를 확인할 수 있습니다.
| 도구 | 평점 | 저희 평가 | 추천 대상 | 가격 |
|---|---|---|---|---|
| llama.cpp저장소 | 4.8/5 | 오픈 모델이 노트북에서 돌아간다면 거의 확실히 llama.cpp를 통해서이며, 이만큼 넓은 하드웨어를 지원하는 것은 없습니다. | 로컬, 엣지 기기 또는 소박한 서버에서 오픈 모델 실행을 직접 제어하고 싶은 개발자. | MIT 라이선스의 무료 오픈소스입니다. 유료 에디션은 없습니다. |
| vLLM저장소 | 4.7/5 | 여전히 오픈 모델을 다중 사용자 API 뒤에 두는 엔진입니다. 단, 팀의 누군가가 업그레이드와 네트워크 노출을 책임져야 합니다. | GPU 서버에서 많은 동시 사용자에게 오픈 모델을 서빙하는 팀. | Apache 2.0 라이선스의 무료 오픈소스입니다. 돌리는 GPU 비용을 냅니다. |
| Ollama저장소 | 4.6/5 | 명령 하나로 로컬 모델을 돌립니다. 기본값(4,096토큰 컨텍스트, 한 번에 요청 하나, 로그인 없음)은 노트북 한 대에는 맞지만 그 이상에는 맞지 않습니다. | 최소한의 설정으로 오픈 모델을 로컬에서 돌리고 싶은 개발자와 개인. | 오픈소스(MIT)이며 로컬 실행은 무료입니다. 선택 사항인 Ollama Cloud: 시작 크레딧이 있는 Free, Pro 월 $20($60 크레딧), Max 월 $100($300 크레딧), Team 월 $500($1,000 공유 크레딧, 사용자 무제한), Enterprise 별도 견적. |
| Together AI도구 | 4.5/5 | Together는 $15 API 충전부터 예약 H100 클러스터까지 모든 단계에서 오픈 모델을 청구서 하나로 돌리며, 전용 하드웨어는 전문 호스트보다 쌉니다. | API 호출에서 파인튜닝과 자체 GPU로 한 제공업체와 함께 옮겨 가고 싶은 오픈 모델 기반 팀. | 선불, 첫 구매 최소 $15, 무료 체험 없음. 100만 토큰당, 예: gpt-oss-120B 입력 $0.15 / 출력 $0.60, Kimi K3 $3 / $15, 배치 최대 50% 할인. 전용 엔드포인트: H100 시간당 $5.49, B200 시간당 $8.99. GPU 클러스터: H100 온디맨드 시간당 $3.99, 선점형 $1.99. 파인튜닝은 100만 토큰당 $0.34부터. |
| SGLang저장소 | 4.4/5 | SGLang은 같은 긴 프롬프트를 다시 보내는 에이전트와 RL 워크로드를 위해 만들어졌으며, 단단히 잠근 네트워크 뒤에 두어야 합니다. | 에이전트와 다중 턴 채팅처럼 프롬프트 재사용이 많은 오픈 모델을 서빙하는 팀. | Apache 2.0 라이선스의 무료 오픈소스입니다. |
| MLX저장소 | 4.4/5 | MLX는 메모리가 큰 Mac을 로컬 추론과 LoRA 튜닝에 쓸 만한 장비로 바꿉니다. Apple 실리콘 밖에서는 이식판일 뿐, 갈아탈 이유는 아닙니다. | Apple 실리콘에서 네이티브 속도와 Python 수준의 제어를 원하는 Mac 기반 개발자와 연구자. | MIT 라이선스의 무료 오픈소스입니다. |
| Fireworks AI도구 | 4.4/5 | Fireworks는 기본으로 아무것도 보관하지 않고 파인튜닝 모델을 기본 가격에 서비스하는, 오픈 모델을 운영 환경에 올리기에 안전한 곳입니다. 비싼 것은 전용 GPU 하나뿐입니다. | 운영 환경에서 오픈 모델을 돌리며 파인튜닝과 예측 가능한 토큰 단가를 원하는 팀. | 선불 크레딧입니다. 100만 토큰당 예를 들어 GPT OSS 120B 입력 $0.15 / 출력 $0.60, Kimi K3 $3 / $15입니다. 배치는 50% 할인입니다. 전용 H100/H200 시간당 $8, B200 시간당 $13. 파인튜닝은 학습 토큰 100만 개당 $0.50부터입니다. |
| audio.cpp저장소 | 4.3/5 | audio.cpp는 llama.cpp가 채팅 모델에 한 일을 로컬 음성에 하고 있으며, 넉 달 만에 이미 110개가 넘는 모델 계열을 돌립니다. | 여러 음성·오디오 모델을 자체 호스팅하며, 모델마다 Python 환경을 두는 대신 네이티브 런타임과 HTTP API 하나를 원하는 엔지니어. | Apache 2.0으로 무료입니다. 유료 버전은 없습니다. 모델 가중치는 각자의 라이선스를 따르며, 상당수가 비상업용입니다. |
| colibri저장소 | 4.2/5 | 744B 파라미터 오픈 모델을 데스크톱에서, 느리게 나마 돌리게 해 주는 디스크 스트리밍 C 엔진입니다. 덤으로 Jev 결정 API를 정직하게 대신하는 로컬 엔드포인트도 있습니다. | 최전선 규모의 오픈 MoE 모델을 자기 기기에서 돌리거나 Jev 방식 결정을 시제품으로 만들어 보려는 애호가와 개발자. | 무료 오픈소스(Apache 2.0)입니다. 각 모델은 고유한 라이선스를 따릅니다. |
| TensorRT-LLM저장소 | 4.0/5 | TensorRT-LLM은 새 NVIDIA 실리콘이 처음으로 진지한 최적화를 받는 곳이며, 그 대가는 긴 CVE 목록과 계절 단위로 재는 안정 릴리스 주기입니다. | GPU당 최대 처리량을 원하는 대규모 NVIDIA GPU 플릿 운영팀. | Apache 2.0 라이선스의 무료 오픈소스입니다(포함된 일부 구성 요소는 각자의 라이선스를 따름). |
| Groq도구 | 4.0/5 | Groq은 여전히 가장 빠른 축에 드는 토큰을 헐값에 팔지만, 그 뒤의 회사는 바뀌었고 모델 목록도 그에 맞춰 줄었습니다. | 모델 선택보다 응답 속도가 중요한 음성, 실시간, 에이전트 기능을 만드는 개발자. | 속도 제한이 있는 무료 요금제(gpt-oss-120b 기준 분당 30건, 하루 1,000건). 종량제 Developer 요금제: 100만 토큰당 gpt-oss-120b 입력 $0.15 / 출력 $0.60, gpt-oss-20b $0.075 / $0.30, qwen3.8-27b $0.80 / $4.00, Whisper large-v3-turbo 오디오 시간당 $0.04. Llama와 일부 새 모델은 영업 문의입니다. |
| Cerebras도구 | 4.0/5 | Cerebras는 속도를 토큰 단위로 팝니다. gpt-oss 입력 가격이 Groq의 두 배가 넘으므로, 지연 시간이 곧 제품일 때만 값을 합니다. | gpt-oss나 Qwen 모델로 작업할 수 있으며 지연 시간에 민감한 에이전트나 코딩 도구를 만드는 개발자. | 1회성 체험 크레딧 $5(30일), 이후 종량제. gpt-oss-120b 100만 토큰당 입력 $0.35 / 출력 $0.75. Qwen 3.8 27B $0.99 / $1.49. Dedicated Inference는 계약제. Cerebras Code 구독(월 $50, $200)은 매진으로 표시. |
| DeepInfer저장소 | 3.6/5 | 운영 중인 LLM 서비스 내부를 들여다볼 드문 기회지만, 지금은 두 칩 계열에서 모델 하나를 돌리는 참조 엔진이지 API 뒤에 둘 물건은 아닙니다. | 클러스터 규모로 DeepSeek-V4.1-Flash를 돌리며 DeepSeek의 커널과 설정을 참조 기준으로 삼고 싶은 추론 엔지니어. | Apache 2.0 라이선스의 무료 오픈소스입니다. Blackwell GPU나 Ascend NPU 비용은 사용자가 냅니다. |
사양 비교
이 단계에서 중요한 사양입니다. 2026년 10월 19일에 확인했습니다. 도입 전에 공급업체 사이트에서 확 인하세요.
| 도구 | 유형 | 하드웨어 | 양자화 형식 | OpenAI 호환 API | 라이선스 / 가격 기준 |
|---|---|---|---|---|---|
| llama.cpp | 엔진(로컬) | CPU, Metal, CUDA, AMD, Vulkan | GGUF | 예(llama-server) | MIT |
| vLLM | 엔진(서버) | NVIDIA, AMD, Intel GPU, CPU | FP8, AWQ, GPTQ, GGUF, bitsandbytes | 예 | Apache 2.0 |
| Ollama | 엔진(로컬) | macOS, Windows, Linux | GGUF | 예 | MIT, 선택적 유료 클라우드 |
| Together AI | 호스팅 공급자 | NVIDIA GPUs (H100, B200) | 공개되지 않음 | 예 | 토큰당 또는 GPU 시간당 |
| SGLang | 엔진(서버) | NVIDIA, AMD, Ascend, Intel CPU | FP8, MXFP4, NVFP4, AWQ, GPTQ, GGUF | 예 | Apache 2.0 |
| MLX | 프레임워크(로컬) | Apple 실리콘만 | MLX 양자화(예: 4비트) | 공개되지 않음 | MIT |
| Fireworks AI | 호스팅 공급자 | NVIDIA H100, H200, B200 | 공개되지 않음 | 예 | 토큰당 또는 GPU 시간당 |
| colibri | 엔진(로컬, MoE) | CPU, CUDA 또는 Vulkan 선택 | 공개되지 않음 | 예, Anthropic API도 | Apache 2.0 |
| TensorRT-LLM | 엔진(서버) | NVIDIA만 | FP8, NVFP4, MXFP4, AWQ, GPTQ | 예(trtllm-serve) | Apache 2.0 |
| Groq | 호스팅 공급자 | Groq LPU | 공개되지 않음 | 대부분(logprobs 없음) | 토큰당 |
| Cerebras | 호스팅 공급자 | Cerebras 웨이퍼 규모 칩 | 공개되지 않음 | 예, 제한 있음 | 토큰당 |
| DeepInfer | 엔진(오프라인, DeepSeek-V4.1-Flash 전용) | NVIDIA SM100 (Blackwell), Huawei Ascend 950 | MXFP4 전문가 웨이트, FP4 KV 캐시 | 아니요(오프라인 API만) | Apache 2.0 |
이 단계가 쓰이는 곳
- 문서와 대화하기: Together AI부터 시작하겠습니다.
- 음성 에이전트: Groq부터 시작하겠습니다.
- 비공개 온디바이스 AI: Ollama, llama.cpp, MLX부터 시작하겠습니다.
- 직접 파인튜닝한 모델: vLLM부터 시작하겠습니다.
이 가이드의 출처
- Artificial Analysis: performance benchmarking methodology
- vLLM docs: quantisation support
- SGLang docs: quantisation
- TensorRT-LLM docs: quantisation
- TensorRT-LLM docs: trtllm-serve
- Groq docs: OpenAI compatibility
- Cerebras docs: OpenAI compatibility
- Together AI docs: OpenAI API compatibility
- Fireworks AI docs: OpenAI compatibility
- DeepInfer on GitHub