Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Streaming (salida de LLM)

El streaming envía la salida de un LLM al cliente fragmento a fragmento a medida que se generan los tokens, en lugar de esperar a la respuesta completa. Los usuarios ven aparecer texto en unos instantes, aunque la respuesta completa tarde mucho más.

También llamado: token streaming, streaming responses, server-sent events, SSE

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

Los modelos de lenguaje generan un token cada vez. Una respuesta larga puede tardar muchos segundos en terminar, y sin streaming el usuario mira un indicador de carga todo ese tiempo. Con streaming, las primeras palabras llegan en cuanto existen, así que la app parece rápida aunque el tiempo total sea el mismo.

Cómo funciona

Activas un indicador como `"stream": true` en la petición. El proveedor mantiene abierta la conexión HTTP y envía una secuencia de eventos pequeños, normalmente como server-sent events (SSE), cada uno con el siguiente fragmento de texto. Eventos aparte marcan el inicio y el final del mensaje, y algunas API también transmiten en streaming las llamadas a herramientas y el razonamiento. Los SDK oficiales reúnen los fragmentos por ti. La mayoría de los servidores autoalojados que ofrecen una API compatible con OpenAI admiten el mismo patrón.

Qué cambia

Dos cifras describen una respuesta en streaming: el tiempo hasta el primer token, que es lo que los usuarios perciben como rapidez de respuesta, y los tokens por segundo, que deciden lo rápido que llega el resto. El streaming mejora la primera sin cambiar la segunda.

Qué hay que gestionar

Tu interfaz tiene que manejar texto parcial: mostrar markdown a medio escribir y gestionar una conexión que se corta a mitad. Los errores pueden llegar en mitad de un stream cuando ya has mostrado texto. Si necesitas salida estructurada como JSON, o esperas al final para analizarla o usas un parser que acepte entrada parcial. Los filtros de contenido y los guardrails que revisan la respuesta completa son más difíciles de aplicar cuando el texto ya está en pantalla.

Términos relacionados

Tiempo hasta el primer token
El tiempo hasta el primer token (TTFT, time to first token) es lo que espera un usuario entre enviar una petición a un modelo de lenguaje y recibir el primer token de su respuesta, e incluye la cola, el procesamiento del prompt y el tiempo de red.
Tokens por segundo
Los tokens por segundo (tok/s) miden lo rápido que produce salida un modelo de lenguaje. Se expresan por usuario, la velocidad a la que llega en streaming una respuesta, o por sistema, la salida total de todas las peticiones simultáneas.
Tokens de salida
Los tokens de salida (output tokens) son los tokens que genera un modelo de lenguaje en su respuesta. Se cuentan y se facturan aparte de los tokens de entrada, y un ajuste max_tokens limita cuántos puede contener una respuesta.
API compatible con OpenAI
Una API compatible con OpenAI (OpenAI-compatible API) es un endpoint de otro proveedor o herramienta que acepta el mismo formato de petición y respuesta que la API de OpenAI, de modo que el código escrito para OpenAI puede pasarse a él cambiando la URL base, la clave y el nombre del modelo.
Salida estructurada
La salida estructurada (structured output) es una función de las API que hace que la respuesta de un modelo de lenguaje siga un formato que defines, normalmente un JSON schema, para que el código pueda analizarla de forma fiable en lugar de extraer datos de texto libre.

Fuentes