Inferencia
La inferencia (inference) es ejecutar un modelo ya entrenado para producir una salida a partir de una entrada nueva, como un LLM que genera una respuesta a un prompt. Es la fase que los usuarios pagan cada vez que llaman a un modelo, a diferencia del entrenamiento.
También llamado: model inference
Por Divya Sharma · Comprobado el 16 nov 2026 · Cómo hacemos las reseñas
El entrenamiento fija los pesos de un modelo; la inferencia los usa. En un modelo de lenguaje grande, la inferencia consiste en tomar un prompt, dividirlo en tokens y predecir el siguiente token una y otra vez, volviendo a introducir cada vez el token nuevo, hasta que el modelo se detiene o llega a un límite de longitud.
Dos fases
La inferencia de un LLM tiene una fase de prefill y una fase de decode. El prefill lee todo el prompt de una vez y construye la caché KV; determina el tiempo hasta el primer token. Después, el decode produce un token por paso, y su velocidad se mide en tokens por segundo. El prefill está limitado sobre todo por el cómputo, y el decode sobre todo por la velocidad a la que la GPU puede leer los pesos de la memoria.
Por qué importa a quien construye
El entrenamiento ocurre una vez; la inferencia ocurre en cada petición, así que suele dominar el coste de funcionamiento de un producto de IA. Puedes comprarla por token a un proveedor de inferencia o ejecutarla tú mismo con un motor de servicio de modelos como vLLM. Decisiones como la cuantización, el batching y el speculative decoding equilibran velocidad, coste y calidad entre sí. La guía de servicio de inferencia compara las opciones.
No es lo mismo que razonar
"Inferencia" es aquí un término de ingeniería para ejecutar un modelo. No significa que el modelo esté haciendo inferencias lógicas. Los modelos de razonamiento gastan más cómputo de inferencia por respuesta, lo que se llama cómputo en tiempo de prueba.
Términos relacionados
- Serving de modelos
- El serving de modelos (model serving) consiste en ejecutar un modelo entrenado como un servicio al que las aplicaciones llaman por la red, con software que carga los pesos en las GPU, pone en cola y agrupa las peticiones, gestiona la memoria y devuelve los resultados.
- Tiempo hasta el primer token
- El tiempo hasta el primer token (TTFT, time to first token) es lo que espera un usuario entre enviar una petición a un modelo de lenguaje y recibir el primer token de su respuesta, e incluye la cola, el procesamiento del prompt y el tiempo de red.
- Tokens por segundo
- Los tokens por segundo (tok/s) miden lo rápido que produce salida un modelo de lenguaje. Se expresan por usuario, la velocidad a la que llega en streaming una respuesta, o por sistema, la salida total de todas las peticiones simultáneas.
- Caché KV
- Una caché KV (KV cache) guarda las claves y los valores de atención que un transformer ya ha calculado para los tokens anteriores, de modo que cada token nuevo solo necesita trabajo para sí mismo. Acelera la generación, pero ocupa memoria de GPU que crece con la longitud del contexto.
- Proveedor de inferencia
- Un proveedor de inferencia (inference provider) es una empresa que ejecuta modelos de IA en su propio hardware y vende acceso a ellos mediante una API, normalmente cobrando por token. Envías prompts y recibes salidas sin gestionar tú las GPU.