Batch API
Una batch API (API por lotes) te permite enviar un gran conjunto de peticiones a un modelo en un solo trabajo y recoger los resultados más tarde, en lugar de esperar cada llamada. Los proveedores ejecutan el trabajo cuando hay capacidad y normalmente cobran menos por él.
También llamado: batch inference, batch processing, Message Batches API
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
La mayoría de las llamadas a modelos son síncronas: envías un prompt y esperas la respuesta. Mucho trabajo no necesita respuesta en segundos, como clasificar un millón de tickets de soporte, generar descripciones de producto, ejecutar una batería de evaluación o etiquetar datos de entrenamiento. Una batch API está hecha para eso.
Cómo funciona
Subes un archivo o una lista de peticiones, cada una con su propio ID. El proveedor pone el trabajo en cola, lo procesa en segundo plano y te da un estado que puedes consultar. Cuando termina, descargas los resultados y los emparejas con tus ID. La Message Batches API de Anthropic, por ejemplo, cobra un 50 por ciento menos que las llamadas estándar y dice que un lote puede tardar hasta 24 horas, aunque muchos terminan antes. OpenAI y otros proveedores ofrecen endpoints parecidos con sus propios descuentos y plazos; consulta las cifras actuales en precios de modelos de IA.
Por qué es más barata
El proveedor puede ejecutar el trabajo por lotes en momentos tranquilos y agrupar las peticiones de forma eficiente. Los trabajos por lotes también suelen tener sus propios límites de uso, separados de tu tráfico en directo, para que un trabajo grande no deje sin recursos a tu producto.
Batch API frente a batching en un servidor
"Batching" también describe cómo un servidor de modelos agrupa peticiones en la GPU, como en el continuous batching. Es una técnica interna de velocidad y también se aplica al tráfico en directo. Una batch API es un producto: una forma más lenta y con descuento de comprar inferencia.
Límites
Renuncias a la latencia y a parte del control. Algunas peticiones pueden fallar o caducar y hay que reenviarlas, los resultados llegan desordenados y no puedes usar streaming. Los lotes encajan mal en cualquier cosa que un usuario esté esperando.
Términos relacionados
- Precio por token
- El precio por token (token pricing) es la forma en que cobran la mayoría de las API de modelos de IA: un precio fijo por millón de tokens de entrada que envías y otro aparte, normalmente más alto, por millón de tokens de salida que genera el modelo, con descuentos para la entrada en caché y las tareas por lotes.
- Límite de uso (API)
- Un límite de uso (rate limit) restringe cuánto puede usar una cuenta una API en un intervalo de tiempo, normalmente como peticiones por minuto (RPM) y tokens por minuto (TPM). Las peticiones que superan el límite se rechazan, por lo general con un error HTTP 429.
- Inferencia
- La inferencia (inference) es ejecutar un modelo ya entrenado para producir una salida a partir de una entrada nueva, como un LLM que genera una respuesta a un prompt. Es la fase que los usuarios pagan cada vez que llaman a un modelo, a diferencia del entrenamiento.
- Evaluación de LLM
- La evaluación de LLM (LLM evaluation), a menudo llamada evals, consiste en medir lo bien que un modelo o una aplicación de IA realiza una tarea ejecutándolo sobre un conjunto de casos de prueba y puntuando las salidas según criterios definidos, con código, con personas o con otro modelo.
- Continuous batching
- El continuous batching (procesamiento por lotes continuo) es una técnica de servicio de modelos que añade peticiones nuevas al lote en ejecución en la GPU y retira las terminadas después de cada paso de generación, en lugar de esperar a que termine un lote entero. Mantiene ocupada la GPU y aumenta el rendimiento.