¿Qué es DeepInfer?
DeepInfer es el framework de inferencia que DeepSeek usa para servir DeepSeek-V4.1-Flash en su propia API, publicado en GitHub con licencia Apache 2.0 el 20 de octubre de 2026. Se construyó principalmente sobre vLLM, con ideas tomadas de SGLang y TensorRT-LLM, y añade kernels propios de DeepSeek (FlashMLA, DeepGEMM, DeepEP, TileLang), paralelismo amplio de expertos, decodificación especulativa con verificación programada por confianza, inferencia invariante al batch y salida estructurada.
Esta primera versión es parcial a propósito. Admite un modelo, DeepSeek-V4.1-Flash, solo hace inferencia offline y está pensada para GPU NVIDIA SM100 (Blackwell) y NPU Huawei Ascend 950. El almacén de caché KV, la desagregación de prefill y decode y los balanceadores de carga que forman un servicio completo no están incluidos; DeepSeek dice que están ligados a su infraestructura interna y describe su diseño en unas preguntas y respuestas sobre el despliegue.
Todavía no hay versiones etiquetadas. El repositorio tiene los issues desactivados y recibe preguntas mediante GitHub Discussions y pull requests.
¿Merece la pena DeepInfer?
DeepInfer vale sobre todo como documentación que, además, se ejecuta. DeepSeek dice que el sistema del que procede sirve 155 billones de tokens al día desde un solo clúster e ingresa 38 US$ por hora de GPU a precios de horas valle, y las preguntas y respuestas sobre el despliegue del repositorio explican cómo: prefill en máquinas normales de 8 GPU, decode repartido entre 64 y 128 GPU con un grupo de expertos por GPU, y un clúster de SSD dedicado que guarda la caché KV para reutilizarla. Pocos laboratorios publican tanto sobre su pila de servicio.
Las cifras principales son de la propia DeepSeek. Su gráfico de decode muestra unos 26.000 tokens de salida por segundo por GPU con 256 solicitudes por rank, que bajan a unos 100 tokens por segundo para cada usuario, medidos en 64 GPU SM100 con un contexto de 131.072 tokens y contando como aceptados todos los tokens de borrador. Con unas 60 solicitudes por rank, que las preguntas y respuestas llaman el punto de funcionamiento en producción, su tabla sitúa el rendimiento más cerca de 14.500 tokens por segundo por rank. No encontramos ninguna reproducción independiente; el repositorio incluye los scripts de barrido para intentarlo.
Las carencias deciden quién puede usarlo hoy. No hay servidor HTTP, solo una API offline de Python, así que servir tráfico real implica construir tú mismo el almacén KV, la desagregación y el balanceo de carga. El hardware se limita a GPU NVIDIA de clase Blackwell y a Ascend 950, así que las flotas Hopper quedan fuera, y las preguntas y respuestas sitúan el despliegue eficiente más pequeño en 64 GPU para prefill más 64 para decode. El único modelo es V4.1-Flash, cuyo checkpoint ocupa por sí solo unos 765 GB.
Para quien sirva V4.1-Flash, vLLM y SGLang siguen siendo los motores prácticos, y los kernels y ajustes de DeepInfer son la referencia con la que afinarlos. Su modo invariante al batch, que mantiene las salidas idénticas sea cual sea el resto del batch, es la función que más merece la pena copiar para trabajos de evaluación y RL. DeepSeek dice que el código de futuros modelos llegará aquí, lo que lo convertiría de referencia en competidor.
Dónde se gana su sitio
Un equipo de inferencia de una nube de GPU que sirve DeepSeek-V4.1-Flash en nodos de clase B200
Reducir la diferencia de rendimiento con la propia API de DeepSeek
Ejecuta el barrido de benchmarks de DeepInfer junto al despliegue actual de vLLM o SGLang y copia lo que gane: paralelismo amplio de expertos con EP64, balanceo con expertos redundantes, el ajuste de borrador de cinco tokens. El software es gratuito; una comparación justa necesita al menos 64 GPU SM100 para la parte de decode.
Un grupo de investigación que hace post-entrenamiento con RL sobre DeepSeek-V4.1-Flash
Obtener rollouts cuyas salidas no cambien con la composición del batch
Define DEEPINFER_BATCH_INVARIANT=1 y pasa una semilla fija para obtener salidas idénticas ante entradas idénticas, solo en NVIDIA. La generación offline por lotes es justo lo que admite esta versión, así que no hay que construir ninguna capa de servicio.
Un proveedor de nube chino que ha estandarizado en Huawei Ascend
Servir el modelo de DeepSeek en aceleradores nacionales con código del propio fabricante
Compila con DEEPINFER_ACCELERATOR=ascend sobre CANN 9.2 para NPU Ascend 950. Apache 2.0 permite el uso comercial, pero el proveedor sigue teniendo que aportar su propia caché KV, enrutado de solicitudes y front end de API.
Antes de decidirte
- Puesta en marcha
- Compila desde el código en Linux con GCC 13 o posterior, Python 3.12 y CUDA 13 (o CANN 9.2 para Ascend) mediante ./build.sh, y después ejecuta examples/offline_inference.py, que descarga DeepSeek-V4.1-Flash-1017 de Hugging Face en la primera ejecución. No se publica paquete pip ni imagen Docker.
- Integraciones
- API offline de Python con salida estructurada (regex, JSON schema, EBNF). DeepSeek publica deepseek-recipe, una biblioteca en Rust con licencia MIT, para convertir solicitudes de Chat Completions, Responses y Messages en tokens; no hay servidor integrado.
- Datos y privacidad
- Funciona por completo en tu hardware; el código no contiene ningún módulo de estadísticas de uso, y la única llamada de red de la guía de inicio es la descarga del modelo desde Hugging Face. Apache 2.0 sin límites de ámbito de uso. No hay avisos de seguridad publicados.
- Coste a escala
- Las preguntas y respuestas sitúan la unidad eficiente más pequeña en 64 GPU de prefill más 64 de decode, con unos 400 Gbps de interconexión por cada 8 GPU y unos 14,4 TB de almacenamiento de caché KV por GPU para conservarla 24 horas. No hay edición de pago ni alojada.
- Límites
- Solo offline; un modelo admitido; solo SM100 y Ascend 950; la invariancia al batch y el muestreo determinista son solo para NVIDIA. Sin versiones etiquetadas, issues desactivados y más de 200 pull requests abiertos en sus primeros seis días.
Lo bueno
- Motor de producción detrás de la propia API de DeepSeek, con Apache 2.0
- Preguntas y respuestas detalladas sobre el despliegue, con ajustes reales de paralelismo y almacenamiento
- Inferencia invariante al batch y muestreo determinista en NVIDIA
- Funciona en Huawei Ascend 950 además de en NVIDIA
Lo malo
- Solo inferencia offline; sin servidor HTTP ni compatible con OpenAI
- No se han publicado el almacén de caché KV, la desagregación ni el balanceo de carga
- Un solo modelo (DeepSeek-V4.1-Flash) y solo SM100 o Ascend 950
- Las cifras de rendimiento son propias y no se han replicado
Ideal para
Ingenieros de inferencia que ejecutan DeepSeek-V4.1-Flash a escala de clúster y quieren los kernels y ajustes de DeepSeek como referencia.
Alternativas a DeepInfer
DeepInfer: preguntas frecuentes
- ¿Merece la pena DeepInfer?
- Una mirada poco habitual al interior de un servicio de LLM en producción, pero por ahora es un motor de referencia para un modelo en dos familias de chips, no algo que poner detrás de una API. Le damos un 3.6 sobre 5.
- ¿Cuánto cuesta DeepInfer?
- Gratuito y de código abierto con licencia Apache 2.0. Pagas las GPU Blackwell o las NPU Ascend.
- ¿Qué inconvenientes tiene DeepInfer?
- Solo inferencia offline; sin servidor HTTP ni compatible con OpenAI; no se han publicado el almacén de caché KV, la desagregación ni el balanceo de carga; un solo modelo (DeepSeek-V4.1-Flash) y solo SM100 o Ascend 950; las cifras de rendimiento son propias y no se han replicado.
- ¿Para quién es DeepInfer?
- Ingenieros de inferencia que ejecutan DeepSeek-V4.1-Flash a escala de clúster y quieren los kernels y ajustes de DeepSeek como referencia.
- ¿Cuánto cuesta DeepInfer para un equipo o en producción?
- Las preguntas y respuestas sitúan la unidad eficiente más pequeña en 64 GPU de prefill más 64 de decode, con unos 400 Gbps de interconexión por cada 8 GPU y unos 14,4 TB de almacenamiento de caché KV por GPU para conservarla 24 horas. No hay edición de pago ni alojada.
- ¿Es DeepInfer seguro para los datos de la empresa?
- Funciona por completo en tu hardware; el código no contiene ningún módulo de estadísticas de uso, y la única llamada de red de la guía de inicio es la descarga del modelo desde Hugging Face. Apache 2.0 sin límites de ámbito de uso. No hay avisos de seguridad publicados.
- ¿Cuáles son las mejores alternativas a DeepInfer?
- Las alternativas más cercanas que hemos analizado son vLLM, SGLang y TensorRT-LLM.
Respuestas comprobadas el 26 oct 2026.