Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Inferencia

La inferencia (inference) es ejecutar un modelo ya entrenado para producir una salida a partir de una entrada nueva, como un LLM que genera una respuesta a un prompt. Es la fase que los usuarios pagan cada vez que llaman a un modelo, a diferencia del entrenamiento.

También llamado: model inference

Por Divya Sharma · Comprobado el 16 nov 2026 · Cómo hacemos las reseñas

El entrenamiento fija los pesos de un modelo; la inferencia los usa. En un modelo de lenguaje grande, la inferencia consiste en tomar un prompt, dividirlo en tokens y predecir el siguiente token una y otra vez, volviendo a introducir cada vez el token nuevo, hasta que el modelo se detiene o llega a un límite de longitud.

Dos fases

La inferencia de un LLM tiene una fase de prefill y una fase de decode. El prefill lee todo el prompt de una vez y construye la caché KV; determina el tiempo hasta el primer token. Después, el decode produce un token por paso, y su velocidad se mide en tokens por segundo. El prefill está limitado sobre todo por el cómputo, y el decode sobre todo por la velocidad a la que la GPU puede leer los pesos de la memoria.

Por qué importa a quien construye

El entrenamiento ocurre una vez; la inferencia ocurre en cada petición, así que suele dominar el coste de funcionamiento de un producto de IA. Puedes comprarla por token a un proveedor de inferencia o ejecutarla tú mismo con un motor de servicio de modelos como vLLM. Decisiones como la cuantización, el batching y el speculative decoding equilibran velocidad, coste y calidad entre sí. La guía de servicio de inferencia compara las opciones.

No es lo mismo que razonar

"Inferencia" es aquí un término de ingeniería para ejecutar un modelo. No significa que el modelo esté haciendo inferencias lógicas. Los modelos de razonamiento gastan más cómputo de inferencia por respuesta, lo que se llama cómputo en tiempo de prueba.

Términos relacionados

Serving de modelos
El serving de modelos (model serving) consiste en ejecutar un modelo entrenado como un servicio al que las aplicaciones llaman por la red, con software que carga los pesos en las GPU, pone en cola y agrupa las peticiones, gestiona la memoria y devuelve los resultados.
Tiempo hasta el primer token
El tiempo hasta el primer token (TTFT, time to first token) es lo que espera un usuario entre enviar una petición a un modelo de lenguaje y recibir el primer token de su respuesta, e incluye la cola, el procesamiento del prompt y el tiempo de red.
Tokens por segundo
Los tokens por segundo (tok/s) miden lo rápido que produce salida un modelo de lenguaje. Se expresan por usuario, la velocidad a la que llega en streaming una respuesta, o por sistema, la salida total de todas las peticiones simultáneas.
Caché KV
Una caché KV (KV cache) guarda las claves y los valores de atención que un transformer ya ha calculado para los tokens anteriores, de modo que cada token nuevo solo necesita trabajo para sí mismo. Acelera la generación, pero ocupa memoria de GPU que crece con la longitud del contexto.
Proveedor de inferencia
Un proveedor de inferencia (inference provider) es una empresa que ejecuta modelos de IA en su propio hardware y vende acceso a ellos mediante una API, normalmente cobrando por token. Envías prompts y recibes salidas sin gestionar tú las GPU.

Fuentes