Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Batch API

Una batch API (API por lotes) te permite enviar un gran conjunto de peticiones a un modelo en un solo trabajo y recoger los resultados más tarde, en lugar de esperar cada llamada. Los proveedores ejecutan el trabajo cuando hay capacidad y normalmente cobran menos por él.

También llamado: batch inference, batch processing, Message Batches API

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

La mayoría de las llamadas a modelos son síncronas: envías un prompt y esperas la respuesta. Mucho trabajo no necesita respuesta en segundos, como clasificar un millón de tickets de soporte, generar descripciones de producto, ejecutar una batería de evaluación o etiquetar datos de entrenamiento. Una batch API está hecha para eso.

Cómo funciona

Subes un archivo o una lista de peticiones, cada una con su propio ID. El proveedor pone el trabajo en cola, lo procesa en segundo plano y te da un estado que puedes consultar. Cuando termina, descargas los resultados y los emparejas con tus ID. La Message Batches API de Anthropic, por ejemplo, cobra un 50 por ciento menos que las llamadas estándar y dice que un lote puede tardar hasta 24 horas, aunque muchos terminan antes. OpenAI y otros proveedores ofrecen endpoints parecidos con sus propios descuentos y plazos; consulta las cifras actuales en precios de modelos de IA.

Por qué es más barata

El proveedor puede ejecutar el trabajo por lotes en momentos tranquilos y agrupar las peticiones de forma eficiente. Los trabajos por lotes también suelen tener sus propios límites de uso, separados de tu tráfico en directo, para que un trabajo grande no deje sin recursos a tu producto.

Batch API frente a batching en un servidor

"Batching" también describe cómo un servidor de modelos agrupa peticiones en la GPU, como en el continuous batching. Es una técnica interna de velocidad y también se aplica al tráfico en directo. Una batch API es un producto: una forma más lenta y con descuento de comprar inferencia.

Límites

Renuncias a la latencia y a parte del control. Algunas peticiones pueden fallar o caducar y hay que reenviarlas, los resultados llegan desordenados y no puedes usar streaming. Los lotes encajan mal en cualquier cosa que un usuario esté esperando.

Términos relacionados

Precio por token
El precio por token (token pricing) es la forma en que cobran la mayoría de las API de modelos de IA: un precio fijo por millón de tokens de entrada que envías y otro aparte, normalmente más alto, por millón de tokens de salida que genera el modelo, con descuentos para la entrada en caché y las tareas por lotes.
Límite de uso (API)
Un límite de uso (rate limit) restringe cuánto puede usar una cuenta una API en un intervalo de tiempo, normalmente como peticiones por minuto (RPM) y tokens por minuto (TPM). Las peticiones que superan el límite se rechazan, por lo general con un error HTTP 429.
Inferencia
La inferencia (inference) es ejecutar un modelo ya entrenado para producir una salida a partir de una entrada nueva, como un LLM que genera una respuesta a un prompt. Es la fase que los usuarios pagan cada vez que llaman a un modelo, a diferencia del entrenamiento.
Evaluación de LLM
La evaluación de LLM (LLM evaluation), a menudo llamada evals, consiste en medir lo bien que un modelo o una aplicación de IA realiza una tarea ejecutándolo sobre un conjunto de casos de prueba y puntuando las salidas según criterios definidos, con código, con personas o con otro modelo.
Continuous batching
El continuous batching (procesamiento por lotes continuo) es una técnica de servicio de modelos que añade peticiones nuevas al lote en ejecución en la GPU y retira las terminadas después de cada paso de generación, en lugar de esperar a que termine un lote entero. Mantiene ocupada la GPU y aumenta el rendimiento.

Fuentes