Motores de inferencia

Qué tener en cuenta

Las preguntas que distinguen las opciones, por orden de importancia.

1. 01

   Rendimiento o latencia: decide qué estás comprando

   El rendimiento es el total de tokens por segundo sumando todos los usuarios, y fija tu coste por token. La latencia es lo que nota un usuario: el tiempo hasta el primer token (TTFT) y la velocidad de salida de su petición. Motores como vLLM y SGLang agrupan muchas peticiones para aumentar el rendimiento, lo que puede ralentizar cada flujo individual; los chips especializados (Groq, Cerebras) venden una velocidad por usuario muy alta. Un chatbot necesita un TTFT bajo, un trabajo por lotes nocturno necesita rendimiento, y un agente que hace docenas de llamadas seguidas necesita ambas cosas.

2. 02

   Cómo leer los benchmarks de proveedores de Artificial Analysis

   Artificial Analysis cronometra a todos los proveedores que sirven el mismo modelo. La velocidad de salida son los tokens por segundo después de que llegue el primer token; el TTFT son los segundos hasta el primer token, que en los modelos de razonamiento es el primer token de razonamiento, así que revisa también el tiempo hasta el primer token de respuesta. Las cifras son la mediana de las últimas 72 horas, el prompt por defecto tiene unos 10.000 tokens de entrada y las pruebas se lanzan desde una región de Google Cloud en Iowa, así que el TTFT incluye la distancia de red desde allí. La mayoría de pruebas envían una petición cada vez; la prueba en paralelo envía solo 10, una vez al día, así que los gráficos dicen poco sobre cómo aguanta un proveedor tu carga máxima.

3. 03

   Hardware compatible

   El motor tiene que funcionar bien en lo que tienes o alquilas. TensorRT-LLM solo apunta a NVIDIA. vLLM y SGLang cubren NVIDIA y AMD, con soporte de Intel y Ascend en algunos casos. llama.cpp llega a CPUs, Apple Metal, CUDA, AMD y Vulkan; MLX es solo para Apple silicon. Los proveedores alojados lo deciden por ti: Groq usa sus propios chips LPU, Cerebras sus chips a escala de oblea, y Together AI y Fireworks GPUs de NVIDIA.

4. 04

   Formatos de cuantización

   La cuantización guarda los pesos con menos bits para que un modelo quepa en menos GPUs y funcione más rápido, normalmente con una pequeña pérdida de calidad. Los formatos están ligados al hardware: FP8 necesita GPUs Ada o Hopper o más recientes, NVFP4 y MXFP4 necesitan Blackwell para ir a velocidad nativa, y GGUF es el formato de llama.cpp, Ollama y la mayor parte del uso en portátiles. Comprueba que el motor admite exactamente el checkpoint que piensas descargar, y mide la calidad en tu propia tarea después de cuantizar. Los proveedores alojados rara vez publican la precisión con la que sirven, lo que explica en parte que el mismo modelo pueda responder distinto en dos de ellos.

5. 05

   API compatible con OpenAI y sus lagunas

   Casi todas las opciones de esta lista hablan el formato chat-completions de OpenAI, así que cambiar es sobre todo cuestión de una URL base y un nombre de modelo. Las lagunas están en los detalles: Groq rechaza logprobs y logit_bias, Cerebras limita n a 1 y en gpt-oss-120b no combina herramientas con un esquema de respuesta, y Together usa IDs de modelo con espacio de nombres. Prueba exactamente los parámetros que envía tu código, incluidos el streaming y las llamadas a herramientas.

6. 06

   Salida estructurada y llamadas a herramientas

   Los agentes y los trabajos de extracción necesitan JSON que cumpla un esquema siempre. Los motores lo imponen restringiendo qué tokens pueden generarse; SGLang ha convertido la generación estructurada en una función central, y Together admite response_format en su API compatible con OpenAI. Comprueba si la imposición del esquema funciona junto con las llamadas a herramientas y el streaming en el modelo que usas, porque el soporte varía según el modelo, no solo según el proveedor.

7. 07

   Muchos fine-tunings sobre un mismo modelo base

   Si sirves varios fine-tunings LoRA, comprueba si el motor o el proveedor puede cargar muchos adaptadores sobre una sola copia del modelo base y elegir el adecuado en cada petición. Sin eso, cada fine-tuning necesita su propia GPU. Fireworks, por ejemplo, sirve los modelos con fine-tuning al mismo precio que el modelo base.

8. 08

   Licencia y base del precio

   Los motores que alojas tú son software libre, sobre todo Apache 2.0 o MIT; pagas las GPUs y a la gente que los mantiene. Los proveedores alojados facturan por millón de tokens con precios separados para entrada y salida, y la mayoría añaden descuentos por lotes, descuentos por entrada en caché y GPUs dedicadas por horas. Con un volumen alto y constante, alojarlo tú en GPUs alquiladas suele salir ganando; con un volumen irregular o bajo, gana la facturación por token.

13 herramientas comparadas

Ordenadas por nuestra nota. Abre cualquier reseña para ver las fuentes, los precios y el veredicto completo.

Comparativa de herramientas de Motores de inferencia

Herramienta	Nota	Nuestro veredicto	Ideal para	Precio
llama.cpprepo	4.8/5	Si un modelo abierto funciona en un portátil, casi seguro que lo hace a través de llama.cpp, y nada más cubre tanto hardware.	Desarrolladores que quieren control directo para ejecutar modelos abiertos en local, en dispositivos edge o en servidores modestos.	Gratuito y de código abierto bajo licencia MIT. Sin edición de pago.
vLLMrepo	4.7/5	Sigue siendo el motor para poner un modelo abierto detrás de una API multiusuario, siempre que alguien del equipo se haga cargo de sus actualizaciones y de su exposición en la red.	Equipos que sirven modelos abiertos a muchos usuarios simultáneos en servidores con GPU.	Gratuito y de código abierto con licencia Apache 2.0. Pagas las GPU en las que se ejecuta.
Ollamarepo	4.6/5	Modelos locales con un solo comando, con valores por defecto (contexto de 4.096 tokens, una petición a la vez, sin inicio de sesión) pensados para un portátil y nada más grande.	Desarrolladores y particulares que quieren ejecutar modelos abiertos en local con la mínima configuración.	Código abierto (MIT) y gratis en local. Ollama Cloud opcional: Free con créditos iniciales; Pro 20 $/mes (60 $ en créditos); Max 100 $/mes (300 $ en créditos); Team 500 $/mes (1.000 $ en créditos compartidos, usuarios ilimitados); Enterprise a medida.
Together AIherramienta	4.5/5	Together ejecuta modelos abiertos en todas las fases con una sola factura, desde una recarga de $15 en la API hasta un clúster H100 reservado, y su hardware dedicado cuesta menos de lo que cobran los proveedores especializados.	Equipos que trabajan con modelos abiertos y quieren pasar de las llamadas a la API al fine-tuning y a sus propias GPU con un solo proveedor.	Prepago, primera compra mínima de $15, sin prueba gratuita. Por 1M de tokens, p. ej. gpt-oss-120B $0.15 de entrada / $0.60 de salida, Kimi K3 $3 / $15; lotes hasta un 50% más baratos. Endpoints dedicados: H100 $5.49/hora, B200 $8.99/hora. Clústeres de GPU: H100 $3.99/hora bajo demanda, $1.99 interrumpible. Fine-tuning desde $0.34 por 1M de tokens.
SGLangrepo	4.4/5	SGLang está hecho para las cargas de agentes y RL que reenvían los mismos prompts largos, y su sitio es detrás de una red bien cerrada.	Equipos que sirven modelos abiertos con mucha reutilización de prompts, como agentes y chat de varios turnos.	Gratuito y de código abierto con licencia Apache 2.0.
MLXrepo	4.4/5	MLX convierte un Mac con mucha memoria en una máquina creíble para inferencia local y ajuste con LoRA; fuera de Apple silicon es un port, no un motivo para cambiar.	Desarrolladores e investigadores que trabajan en Mac y quieren velocidad nativa y control desde Python en Apple silicon.	Gratuito y de código abierto bajo licencia MIT.
Fireworks AIherramienta	4.4/5	Fireworks es un hogar seguro en producción para modelos abiertos, no guarda nada por defecto y sirve modelos ajustados a precio de modelo base, y sus GPU dedicadas son la única parte cara.	Equipos que usan modelos abiertos en producción y quieren ajuste fino y precios por token previsibles.	Créditos prepago. Por 1M de tokens, p. ej. GPT OSS 120B 0,15 $ de entrada / 0,60 $ de salida, Kimi K3: 3 $ / 15 $. Lotes con un 50% de descuento. H100/H200 dedicadas: 8 $/hora, B200: 13 $/hora. Ajuste fino desde 0,50 $ por 1M de tokens de entrenamiento.
audio.cpprepo	4.3/5	audio.cpp está haciendo por la voz local lo que llama.cpp hizo por los modelos de chat, y a los cuatro meses ya ejecuta más de 110 familias de modelos.	Ingenieros que autoalojan varios modelos de voz o audio y quieren un solo runtime nativo y una API HTTP en lugar de un entorno de Python por modelo.	Gratuito con Apache 2.0. No hay edición de pago. Los pesos de los modelos conservan sus propias licencias, muchas de ellas no comerciales.
colibrirepo	4.2/5	Un motor en C que lee desde disco y hace funcionar modelos abiertos de 744B parámetros en un ordenador de sobremesa, despacio, con un sustituto local honesto de la API de decisiones de Jev como extra.	Aficionados y desarrolladores que quieren ejecutar en su propia máquina modelos MoE abiertos de tamaño frontera, o probar decisiones al estilo de Jev.	Gratuito y de código abierto (Apache 2.0). Cada modelo conserva su propia licencia.
TensorRT-LLMrepo	4.0/5	TensorRT-LLM es donde el nuevo silicio de NVIDIA recibe sus primeras optimizaciones serias, y el precio es una larga lista de CVE y un ritmo de versiones estables que se mide en estaciones.	Equipos con grandes flotas de GPU de NVIDIA que quieren el máximo rendimiento por GPU.	Gratuito y de código abierto con licencia Apache 2.0 (algunos componentes incluidos tienen sus propias licencias).
Groqherramienta	4.0/5	Groq sigue vendiendo algunos de los tokens más rápidos del mercado a precios de saldo, pero la empresa que hay detrás ha cambiado y su lista de modelos se ha reducido en consecuencia.	Desarrolladores que crean funciones de voz, en tiempo real o de agentes donde la velocidad de respuesta importa más que la elección de modelo.	Plan gratuito con límites de uso (30 peticiones por minuto y 1.000 al día para gpt-oss-120b). Plan Developer de pago por uso: gpt-oss-120b 0,15 $ de entrada / 0,60 $ de salida por 1M de tokens, gpt-oss-20b 0,075 $ / 0,30 $, qwen3.8-27b 0,80 $ / 4,00 $; Whisper large-v3-turbo 0,04 $ por hora de audio. Llama y algunos modelos más nuevos, a través de ventas.
Cerebrasherramienta	4.0/5	Cerebras vende velocidad por token, y con un precio de entrada de más del doble que el de Groq para gpt-oss solo compensa cuando la latencia es el producto.	Desarrolladores que construyen agentes o herramientas de programación sensibles a la latencia y que pueden trabajar con modelos gpt-oss o Qwen.	Crédito de prueba único de $5 (30 días), después pago por uso. gpt-oss-120b $0.35 de entrada / $0.75 de salida por 1M de tokens; Qwen 3.8 27B $0.99 / $1.49. Dedicated Inference por acuerdo. Las suscripciones Cerebras Code ($50 y $200/mes) figuran como agotadas.
DeepInferrepo	3.6/5	Una mirada poco habitual al interior de un servicio de LLM en producción, pero por ahora es un motor de referencia para un modelo en dos familias de chips, no algo que poner detrás de una API.	Ingenieros de inferencia que ejecutan DeepSeek-V4.1-Flash a escala de clúster y quieren los kernels y ajustes de DeepSeek como referencia.	Gratuito y de código abierto con licencia Apache 2.0. Pagas las GPU Blackwell o las NPU Ascend.

Lado a lado

Las especificaciones que importan en este paso. Comprobado el 19 oct 2026; confírmalo en la web del proveedor antes de decidirte.

Dónde encaja esta etapa

• Chatea con tus documentos: empezaríamos con Together AI.
• Agente de voz: empezaríamos con Groq.
• IA privada y local: empezaríamos con Ollama, llama.cpp, MLX.
• Tu propio modelo con fine-tuning: empezaríamos con vLLM.

Fuentes de esta guía

• Artificial Analysis: performance benchmarking methodology
• vLLM docs: quantisation support
• SGLang docs: quantisation
• TensorRT-LLM docs: quantisation
• TensorRT-LLM docs: trtllm-serve
• Groq docs: OpenAI compatibility
• Cerebras docs: OpenAI compatibility
• Together AI docs: OpenAI API compatibility
• Fireworks AI docs: OpenAI compatibility
• DeepInfer on GitHub