O que é DeepInfer?
O DeepInfer é o framework de inferência que a DeepSeek usa para servir o DeepSeek-V4.1-Flash na sua própria API, publicado no GitHub sob Apache 2.0 em 20 de outubro de 2026. Ele foi construído principalmente sobre o vLLM, com ideias tiradas do SGLang e do TensorRT-LLM, e acrescenta kernels próprios da DeepSeek (FlashMLA, DeepGEMM, DeepEP, TileLang), paralelismo amplo de especialistas, decodificação especulativa com verificação agendada por confiança, inferência invariante ao lote e saída estruturada.
Esta primeira versão é parcial de propósito. Ela suporta um único modelo, o DeepSeek-V4.1-Flash, roda apenas inferência offline e tem como alvo GPUs NVIDIA SM100 (Blackwell) e NPUs Huawei Ascend 950. O armazenamento de KV cache, a desagregação entre prefill e decode e os balanceadores de carga que compõem um serviço completo não estão incluídos; a DeepSeek diz que eles estão atrelados à sua infraestrutura interna e descreve o desenho deles em um Q&A de implantação.
Ainda não há versões marcadas. O repositório tem as issues desativadas e recebe perguntas pelo GitHub Discussions e por pull requests.
DeepInfer vale a pena?
O DeepInfer vale mais como documentação que por acaso roda. A DeepSeek diz que o sistema de onde ele vem serve 155 trilhões de tokens por dia a partir de um único cluster e rende US$ 38 por hora de GPU nos preços fora de pico, e o Q&A de implantação do repositório explica como: prefill em máquinas comuns de 8 GPUs, decode distribuído em 64 a 128 GPUs com um grupo de especialistas por GPU, e um cluster dedicado de SSDs guardando KV cache para reuso. Poucos laboratórios publicam tanto sobre sua stack de serving.
Os números de destaque são da própria DeepSeek. O gráfico de decode mostra cerca de 26.000 tokens de saída por segundo por GPU com 256 requisições por rank, caindo para aproximadamente 100 tokens por segundo para cada usuário, medidos em 64 GPUs SM100 com contexto de 131.072 tokens e contando todo token de rascunho como aceito. Com cerca de 60 requisições por rank, que o Q&A chama de ponto de operação em produção, a tabela coloca a vazão mais perto de 14.500 tokens por segundo por rank. Não encontramos reprodução independente; o repositório traz os scripts de varredura para tentar.
As lacunas decidem quem pode usá-lo hoje. Não há servidor HTTP, só uma API Python offline, então servir tráfego real significa construir por conta própria o armazenamento de KV, a desagregação e o balanceamento de carga. O hardware se limita a GPUs NVIDIA da classe Blackwell e ao Ascend 950, então frotas Hopper ficam de fora, e o Q&A coloca a menor implantação eficiente em 64 GPUs para prefill mais 64 para decode. O único modelo é o V4.1-Flash, cujo checkpoint sozinho tem cerca de 765 GB.
Para quem serve o V4.1-Flash, o vLLM e o SGLang continuam sendo os motores práticos, e os kernels e configurações do DeepInfer são a referência para ajustá-los. Seu modo invariante ao lote, que mantém as saídas idênticas independentemente do que mais estiver no lote, é o recurso que mais vale a pena aproveitar para trabalho de avaliação e RL. A DeepSeek diz que o código de modelos futuros vai chegar aqui, o que o transformaria de referência em concorrente.
Onde ele se destaca
Uma equipe de inferência em uma nuvem de GPUs que serve o DeepSeek-V4.1-Flash em nós da classe B200
Fechar a diferença de vazão em relação à própria API da DeepSeek
Rode a varredura de benchmark do DeepInfer ao lado da implantação atual de vLLM ou SGLang e copie o que vencer: paralelismo amplo de especialistas em EP64, balanceamento com especialistas redundantes, a configuração de rascunho de cinco tokens. O software é gratuito; uma comparação justa exige pelo menos 64 GPUs SM100 do lado do decode.
Um grupo de pesquisa fazendo pós-treinamento por RL no DeepSeek-V4.1-Flash
Obter rollouts cujas saídas não mudam com a composição do lote
Defina DEEPINFER_BATCH_INVARIANT=1 e passe uma seed fixa para obter saídas idênticas para entradas idênticas, apenas na NVIDIA. Geração offline em lote é exatamente o que esta versão suporta, então nenhuma camada de serving precisa ser construída.
Um provedor de nuvem chinês padronizado em Huawei Ascend
Servir o modelo da DeepSeek em aceleradores nacionais com código do próprio fabricante do modelo
Compile com DEEPINFER_ACCELERATOR=ascend sobre o CANN 9.2 para NPUs Ascend 950. A Apache 2.0 permite uso comercial, mas o provedor ainda precisa fornecer o próprio KV cache, o roteamento de requisições e o front end da API.
Antes de decidir
- Configuração
- Compile a partir do código-fonte em Linux com GCC 13 ou mais recente, Python 3.12 e CUDA 13 (ou CANN 9.2 para Ascend) via ./build.sh, depois rode examples/offline_inference.py, que baixa o DeepSeek-V4.1-Flash-1017 do Hugging Face na primeira execução. Não há pacote pip nem imagem Docker publicados.
- Integrações
- API Python offline com saída estruturada (regex, JSON schema, EBNF). A DeepSeek publica o deepseek-recipe, uma biblioteca Rust com licença MIT, para converter requisições Chat Completions, Responses e Messages em tokens; não há servidor embutido.
- Dados e privacidade
- Roda inteiramente no seu hardware; a árvore de código não contém módulo de estatísticas de uso, e a única chamada de rede no quickstart é o download do modelo no Hugging Face. Apache 2.0 sem limites de campo de uso. Nenhum aviso de segurança publicado.
- Custo em escala
- O Q&A coloca a menor unidade eficiente em 64 GPUs de prefill mais 64 de decode, com cerca de 400 Gbps de interconexão a cada 8 GPUs e aproximadamente 14,4 TB de armazenamento de KV cache por GPU para retenção de 24 horas. Não há edição paga ou hospedada.
- Limites
- Só offline; um modelo suportado; apenas SM100 e Ascend 950; a invariância ao lote e a amostragem determinística são exclusivas da NVIDIA. Sem versões marcadas, issues desativadas e mais de 200 pull requests abertos nos primeiros seis dias.
O que é bom
- Motor de produção por trás da própria API da DeepSeek, Apache 2.0
- Q&A de implantação detalhado, com configurações reais de paralelismo e armazenamento
- Inferência invariante ao lote e amostragem determinística na NVIDIA
- Roda no Huawei Ascend 950, além da NVIDIA
O que não é
- Só inferência offline; sem servidor HTTP ou compatível com OpenAI
- Armazenamento de KV cache, desagregação e balanceamento de carga não foram liberados
- Um modelo (DeepSeek-V4.1-Flash) e apenas SM100 ou Ascend 950
- Os números de vazão são autodeclarados e não replicados
Ideal para
Engenheiros de inferência que rodam o DeepSeek-V4.1-Flash em escala de cluster e querem os kernels e configurações da DeepSeek como referência.
Alternativas ao DeepInfer
DeepInfer: perguntas frequentes
- DeepInfer vale a pena?
- Um raro olhar por dentro de um serviço de LLM em produção, mas por enquanto é um motor de referência para um modelo em duas famílias de chips, não algo para colocar atrás de uma API. Damos nota 3.6 de 5.
- Quanto custa DeepInfer?
- Gratuito e de código aberto sob a licença Apache 2.0. Você paga pelas GPUs Blackwell ou NPUs Ascend.
- Quais são as desvantagens de DeepInfer?
- Só inferência offline; sem servidor HTTP ou compatível com OpenAI; armazenamento de KV cache, desagregação e balanceamento de carga não foram liberados; um modelo (DeepSeek-V4.1-Flash) e apenas SM100 ou Ascend 950; os números de vazão são autodeclarados e não replicados.
- Para quem DeepInfer é indicado?
- Engenheiros de inferência que rodam o DeepSeek-V4.1-Flash em escala de cluster e querem os kernels e configurações da DeepSeek como referência.
- Quanto custa DeepInfer para uma equipe ou em produção?
- O Q&A coloca a menor unidade eficiente em 64 GPUs de prefill mais 64 de decode, com cerca de 400 Gbps de interconexão a cada 8 GPUs e aproximadamente 14,4 TB de armazenamento de KV cache por GPU para retenção de 24 horas. Não há edição paga ou hospedada.
- DeepInfer é seguro para dados da empresa?
- Roda inteiramente no seu hardware; a árvore de código não contém módulo de estatísticas de uso, e a única chamada de rede no quickstart é o download do modelo no Hugging Face. Apache 2.0 sem limites de campo de uso. Nenhum aviso de segurança publicado.
- Quais são as melhores alternativas ao DeepInfer?
- As alternativas mais próximas que analisamos são vLLM, SGLang e TensorRT-LLM.
Respostas verificadas em 26 de out. de 2026.