DeepInfer의 개요
DeepInfer는 DeepSeek가 자사 API에서 DeepSeek-V4.1-Flash를 서비스하는 데 쓰는 추론 프레임워크로, 2026년 10월 20일 Apache 2.0으로 GitHub에 공개되었습니다. 주로 vLLM 위에 만들어졌고 SGLang과 TensorRT-LLM의 아이디어를 가져왔으며, DeepSeek 자체 커널(FlashMLA, DeepGEMM, DeepEP, TileLang), 광역 expert 병렬화, 신뢰도 기반으로 검증을 스케줄링하는 추측 디코딩, 배치 불변 추론, 구조화된 출력을 더합니다.
이번 첫 릴리스는 의도적으로 일부만 담았습니다. 모델은 DeepSeek-V4.1-Flash 하나만 지원하고, 오프라인 추론만 실행하며, NVIDIA SM100(Blackwell) GPU와 Huawei Ascend 950 NPU를 대상으로 합니다. 완전한 서비스를 이루는 KV 캐시 저장소, prefill/decode 분리, 로드 밸런서는 포함되지 않았습니다. DeepSeek는 이들이 내부 인프라에 묶여 있다며, 대신 배포 Q&A에서 그 설계를 설명합니다.
아직 태그된 릴리스는 없습니다. 저장소는 이슈가 꺼져 있고, 질문은 GitHub Discussions와 풀 리퀘스트로 받습니다.
DeepInfer, 쓸 만한 가치가 있습니까?
DeepInfer는 실행까지 되는 문서로서 가장 가치가 큽니다. DeepSeek는 이 시스템의 원본이 단일 클러스터에서 하루 155조 토큰을 서비스하고 비혼잡 시간대 가격으로 GPU 시간당 US$38를 번다고 말하며, 저장소의 배포 Q&A는 그 방법을 설명합니다. prefill은 일반적인 8-GPU 기기에서, decode는 GPU당 expert 그룹 하나씩 64~128개 GPU에 분산하고, 전용 SSD 클러스터가 재사용용 KV 캐시를 보관합니다. 자사 서빙 스택을 이만큼 공개하는 연구소는 드뭅니다.
대표 수치는 DeepSeek 자체의 것입니다. decode 차트는 랭크당 요청 256개에서 GPU당 초당 약 26,000 출력 토큰을 보여 주며, 이때 사용자당 속도는 초당 약 100 토큰으로 떨어집니다. 측정은 SM100 GPU 64개, 131,072 토큰 컨텍스트에서 이루어졌고 모든 초안 토큰을 수락된 것으로 셌습니다. Q&A가 운영 지점이라고 부르는 랭크당 요청 약 60개에서는 표상 처리량이 랭크당 초당 14,500 토큰에 가깝습니다. 독립적인 재현은 찾지 못했으며, 저장소에는 직접 시도해 볼 스윕 스크립트가 들어 있습니다.
누가 지금 쓸 수 있는지는 빈틈이 결정합니다. HTTP 서버가 없고 Python 오프라인 API만 있으므로, 실제 트래픽을 서비스하려면 KV 저장소, 분리, 로드 밸런싱을 직접 만들어야 합니다. 하드웨어는 Blackwell급 NVIDIA GPU와 Ascend 950으로 제한되어 Hopper 장비는 제외되며, Q&A는 효율적인 최소 배포를 prefill용 GPU 64개와 decode용 64개로 잡습니다. 유일한 모델은 V4.1-Flash이고, 체크포인트만 약 765 GB입니다.
V4.1-Flash를 서비스하는 사람에게는 여전히 vLLM과 SGLang이 실용적인 엔진이며, DeepInfer의 커널과 설정은 이들을 조정할 기준이 됩니다. 배치에 무엇이 함께 들어 있든 출력을 동일하게 유지하는 배치 불변 모드는 평가와 RL 작업에 가장 빌려 올 만한 기능입니다. DeepSeek는 향후 모델용 코드도 여기에 올라온다고 말하는데, 그렇게 되면 참조용에서 실제 경쟁자로 바뀔 것입니다.
제 역할을 하는 곳
B200급 노드에서 DeepSeek-V4.1-Flash를 서비스하는 GPU 클라우드의 추론 팀
DeepSeek 자체 API와의 처리량 격차 좁히기
현재 vLLM이나 SGLang 배포 옆에서 DeepInfer의 벤치마크 스윕을 돌리고, 이기는 설정을 가져옵니다. EP64의 광역 expert 병렬화, 중복 expert 균형, 5토큰 초안 설정입니다. 소프트웨어는 무료지만, 공정한 비교에는 decode 쪽에만 최소 SM100 GPU 64개가 필요합니다.
DeepSeek-V4.1-Flash로 RL 후학습을 하는 연구 그룹
배치 구성에 따라 출력이 바뀌지 않는 롤아웃 얻기
DEEPINFER_BATCH_INVARIANT=1을 설정하고 고정 시드를 넘기면 같은 입력에 같은 출력을 얻습니다. NVIDIA 전용입니다. 오프라인 배치 생성이 바로 이번 릴리스가 지원하는 것이므로 서빙 계층을 만들 필요가 없습니다.
Huawei Ascend로 표준화한 중국 클라우드 공급자
자사 코드로 국산 가속기에서 DeepSeek 모델 서비스하기
Ascend 950 NPU용으로 CANN 9.2에서 DEEPINFER_ACCELERATOR=ascend로 빌드합니다. Apache 2.0은 상업적 사용을 허용하지만, KV 캐시, 요청 라우팅, API 프런트엔드는 여전히 공급자가 직접 마련해야 합니다.
도입 전 확인할 점
- 설정
- Linux에서 GCC 13 이 상, Python 3.12, CUDA 13(Ascend는 CANN 9.2)으로 ./build.sh를 통해 소스 빌드한 뒤 examples/offline_inference.py를 실행합니다. 첫 실행 시 Hugging Face에서 DeepSeek-V4.1-Flash-1017을 내려받습니다. pip 패키지나 Docker 이미지는 공개되지 않았습니다.
- 연동
- 구조화된 출력(정규식, JSON 스키마, EBNF)을 갖춘 Python 오프라인 API입니다. DeepSeek는 Chat Completions, Responses, Messages 요청을 토큰으로 변환하는 MIT 라이선스 Rust 라이브러리 deepseek-recipe를 공개하며, 내장 서버는 없습니다.
- 데이터와 개인정보
- 전적으로 사용자의 하드웨어에서 실행됩니다. 코드 트리에 사용 통계 모듈이 없고, 빠른 시작의 유일한 네트워크 호출은 Hugging Face 모델 다운로드입니다. 사용 분야 제한 없는 Apache 2.0이며, 공개된 보안 권고는 없습니다.
- 대규모 사용 시 비용
- Q&A는 효율적인 최소 단위를 prefill GPU 64개와 decode GPU 64개로 잡으며, GPU 8개당 약 400 Gbps의 인터커넥트와 24시간 보존 기준 GPU당 약 14.4 TB의 KV 캐시 저장소가 필요합니다. 유료나 호스팅 에디션은 없습니다.
- 제한
- 오프라인 전용, 지원 모델 하나, SM100과 Ascend 950 전용이며, 배치 불변성과 결정적 샘플링은 NVIDIA에서만 됩니다. 태그된 릴리스가 없고 이슈가 꺼져 있으며, 첫 6일 동안 풀 리퀘스트가 200개 넘게 열렸습니다.
좋은 점
- DeepSeek 자체 API를 구동하는 운영 엔진, Apache 2.0
- 실제 병렬화와 저장소 설정을 담은 상세한 배포 Q&A
- NVIDIA에서 배치 불변 추론과 결정적 샘플링
- NVIDIA뿐 아니라 Huawei Ascend 950에서도 실행
아쉬운 점
- 오프라인 추론만 지원, HTTP나 OpenAI 호환 서버 없음
- KV 캐시 저장소, 분리, 로드 밸런싱은 미공개
- 모델 하나(DeepSeek-V4.1-Flash), SM100이나 Ascend 950 전용
- 처리량 수치는 자체 보고이며 재현되지 않음
추천 대상
클러스터 규모로 DeepSeek-V4.1-Flash를 돌리며 DeepSeek의 커널과 설정을 참조 기준으로 삼고 싶은 추론 엔지니어.
DeepInfer 대안
DeepInfer: 자주 묻는 질문
- DeepInfer, 쓸 만한 가치가 있습니까?
- 운영 중인 LLM 서비스 내부를 들여다볼 드문 기회지만, 지금은 두 칩 계열에서 모델 하나를 돌리는 참조 엔진이지 API 뒤에 둘 물건은 아닙니다. 평점은 5점 만점에 3.6점입니다.
- DeepInfer의 가격은 얼마입니까?
- Apache 2.0 라이선스의 무료 오픈소스입니다. Blackwell GPU나 Ascend NPU 비용은 사용자가 냅니다.
- DeepInfer의 단점은 무엇입니까?
- 오프라인 추론만 지원, HTTP나 OpenAI 호환 서버 없음; KV 캐시 저장소, 분리, 로드 밸런싱은 미공개; 모델 하나(DeepSeek-V4.1-Flash), SM100이나 Ascend 950 전용; 처리량 수치는 자체 보고이며 재현되지 않음.
- DeepInfer에 적합한 사람은 누구입니까?
- 클러스터 규모로 DeepSeek-V4.1-Flash를 돌리며 DeepSeek의 커널과 설정을 참조 기준으로 삼고 싶은 추론 엔지니어.
- 팀이나 프로덕션 환경에서 DeepInfer의 비용은 얼마입니까?
- Q&A는 효율적인 최소 단위를 prefill GPU 64개와 decode GPU 64개로 잡으며, GPU 8개당 약 400 Gbps의 인터커넥트와 24시간 보존 기준 GPU당 약 14.4 TB의 KV 캐시 저장소가 필요합니다. 유료나 호스팅 에디션은 없습니다.
- DeepInfer에 회사 데이터를 맡겨도 안전합니까?
- 전적으로 사용자의 하드웨어에서 실행됩니다. 코드 트리에 사용 통계 모듈이 없고, 빠른 시작의 유일한 네트워크 호출은 Hugging Face 모델 다운로드입니다. 사용 분야 제한 없는 Apache 2.0이며, 공개된 보안 권고는 없습니다.
- DeepInfer의 가장 좋은 대안은 무엇입니까?
- 저희가 리뷰한 것 중 가장 가까운 대안은 vLLM, SGLang 및 TensorRT-LLM입니다.
답변 확인일: 2026년 10월 26일.