Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Ejecución y despliegue

Fine-tuning, servir y alojar modelos, y qué significan los términos de hardware y precios.

API compatible con OpenAI
Una API compatible con OpenAI (OpenAI-compatible API) es un endpoint de otro proveedor o herramienta que acepta el mismo formato de petición y respuesta que la API de OpenAI, de modo que el código escrito para OpenAI puede pasarse a él cambiando la URL base, la clave y el nombre del modelo.
Batch API
Una batch API (API por lotes) te permite enviar un gran conjunto de peticiones a un modelo en un solo trabajo y recoger los resultados más tarde, en lugar de esperar cada llamada. Los proveedores ejecutan el trabajo cuando hay capacidad y normalmente cobran menos por él.
Caché KV
Una caché KV (KV cache) guarda las claves y los valores de atención que un transformer ya ha calculado para los tokens anteriores, de modo que cada token nuevo solo necesita trabajo para sí mismo. Acelera la generación, pero ocupa memoria de GPU que crece con la longitud del contexto.
Caché semántica
Una caché semántica (semantic cache) guarda respuestas anteriores de un LLM y devuelve una cuando una petición nueva significa más o menos lo mismo que otra anterior, según la similitud de embeddings y no una coincidencia exacta de texto. Ahorra coste y latencia en preguntas repetidas.
Clave de API
Una clave de API (API key) es una cadena secreta que una aplicación envía con cada petición para que un servicio sepa qué cuenta llama, aplique sus límites y la facture. Normalmente, cualquiera que tenga la clave puede usarla.
Continuous batching
El continuous batching (procesamiento por lotes continuo) es una técnica de servicio de modelos que añade peticiones nuevas al lote en ejecución en la GPU y retira las terminadas después de cada paso de generación, en lugar de esperar a que termine un lote entero. Mantiene ocupada la GPU y aumenta el rendimiento.
Datos de entrenamiento de IA
Los datos de entrenamiento de IA son el conjunto de ejemplos del que aprende un modelo, como texto web, código, imágenes, transcripciones o pares etiquetados. Su tamaño, calidad, mezcla y licencias determinan lo que el modelo puede hacer y dónde falla.
Datos sintéticos
Los datos sintéticos (synthetic data) son datos de entrenamiento o de prueba generados por software, a menudo por otro modelo de IA, en lugar de recogidos de fuentes del mundo real. Se usan para cubrir huecos, añadir ejemplos a bajo coste o evitar exponer datos personales reales.
Decodificación especulativa
La decodificación especulativa (speculative decoding) acelera la generación de texto dejando que un modelo borrador pequeño y rápido proponga varios tokens, que el modelo grande comprueba después en una sola pasada, quedándose con los aceptados. La salida coincide con la que produciría el modelo grande por sí solo.
Descarga a CPU
La descarga a CPU (CPU offloading) ejecuta un modelo que no cabe en la memoria de la GPU guardando parte de sus capas en la RAM del sistema, o en disco, y usando la GPU para el resto. El modelo funciona, pero más despacio.
Direct preference optimization
La direct preference optimization (DPO, optimización directa de preferencias) es una forma de alinear un modelo de lenguaje con las preferencias humanas entrenándolo directamente con pares de respuestas preferidas y rechazadas, con una función de pérdida sencilla de tipo clasificación en lugar de un modelo de recompensa y aprendizaje por refuerzo.
Fallback de modelo
El fallback de modelo (model fallback) es una regla que envía una petición a un modelo o proveedor de reserva cuando la primera opción falla, tarda demasiado, alcanza un límite de uso o rechaza la entrada. Mantiene en marcha una función de IA durante las caídas.
Fine-tuning
El fine-tuning (ajuste fino) es un entrenamiento adicional de un modelo preentrenado con un conjunto de datos más pequeño y específico de una tarea, para que el modelo adopte una habilidad, un formato, un tono o un dominio concretos sin entrenarlo desde cero.
Fine-tuning eficiente en parámetros
El fine-tuning eficiente en parámetros (PEFT, parameter-efficient fine-tuning) adapta un modelo preentrenado entrenando solo un pequeño número de parámetros nuevos o seleccionados y dejando el resto congelado. Reduce la memoria, el cómputo y el almacenamiento que exige el fine-tuning completo.
Fine-tuning supervisado
El fine-tuning supervisado (SFT, supervised fine-tuning) sigue entrenando un modelo preentrenado con ejemplos de prompts emparejados con las respuestas que quieres. Es el primer paso habitual para convertir un modelo base en uno que sigue instrucciones.
GPU
Una GPU (unidad de procesamiento gráfico) es un procesador con muchos núcleos pequeños diseñado para ejecutar muchos cálculos en paralelo. Su velocidad con las operaciones de matrices la convierte en el hardware estándar para entrenar y ejecutar modelos de IA.
GPU serverless
La GPU serverless es un modelo de nube en el que despliegas código o un modelo y la plataforma solo arranca workers con GPU cuando llegan peticiones, factura el tiempo que funcionan y escala a cero cuando no hay actividad.
Inferencia
La inferencia (inference) es ejecutar un modelo ya entrenado para producir una salida a partir de una entrada nueva, como un LLM que genera una respuesta a un prompt. Es la fase que los usuarios pagan cada vez que llaman a un modelo, a diferencia del entrenamiento.
Límite de uso (API)
Un límite de uso (rate limit) restringe cuánto puede usar una cuenta una API en un intervalo de tiempo, normalmente como peticiones por minuto (RPM) y tokens por minuto (TPM). Las peticiones que superan el límite se rechazan, por lo general con un error HTTP 429.
LLM local
Un LLM local es un modelo de lenguaje que se ejecuta en tu propio ordenador, teléfono o servidor en lugar de en la API en la nube de un proveedor, de modo que los prompts y los datos se quedan en tu hardware y funciona sin conexión a internet.
LoRA
LoRA (low-rank adaptation, adaptación de bajo rango) es un método de fine-tuning que congela los pesos originales de un modelo y entrena pequeñas matrices de bajo rango añadidas a sus capas, de modo que cambian muchos menos parámetros y se necesita mucha menos memoria de GPU.
Memoria unificada
La memoria unificada (unified memory) es un diseño en el que la CPU y la GPU comparten un único conjunto de memoria en lugar de tener cada una la suya. En los Mac con Apple Silicon y chips parecidos, permite que un modelo de IA local use la mayor parte de la RAM del sistema como memoria de GPU.
Modelo de recompensa
Un modelo de recompensa (reward model) es un modelo independiente entrenado con datos de preferencias humanas para puntuar lo buena que es una respuesta. Después, el aprendizaje por refuerzo usa esa puntuación para ajustar un modelo de lenguaje hacia las respuestas que prefiere la gente.
NPU
Una NPU (neural processing unit, unidad de procesamiento neuronal) es un chip, o un bloque dentro de un chip mayor, diseñado para ejecutar los cálculos de redes neuronales rápido y con poco consumo. Los teléfonos y portátiles usan NPU para ejecutar pequeños modelos de IA en el propio dispositivo.
Nube de GPU
Una nube de GPU (GPU cloud) es un servicio que alquila máquinas con GPU por horas o por segundos para entrenamiento, fine-tuning e inferencia de IA. Los proveedores especializados, a veces llamados neoclouds, se centran en las GPU y a menudo cobran menos que las grandes nubes generalistas.
PagedAttention
PagedAttention es un método para guardar la KV cache de un modelo de lenguaje en bloques pequeños de tamaño fijo que no tienen por qué estar contiguos en la memoria de la GPU, como las páginas en un sistema operativo. Reduce la memoria desperdiciada para que un servidor pueda atender más peticiones a la vez.
Precio por token
El precio por token (token pricing) es la forma en que cobran la mayoría de las API de modelos de IA: un precio fijo por millón de tokens de entrada que envías y otro aparte, normalmente más alto, por millón de tokens de salida que genera el modelo, con descuentos para la entrada en caché y las tareas por lotes.
Precisión numérica (FP16, BF16, FP8)
La precisión numérica es el formato de número que se usa para guardar los pesos de un modelo y hacer sus cálculos, como FP32, FP16, BF16, FP8 o INT4. Menos bits por número significa menos memoria e inferencia más rápida, con cierto riesgo para la precisión de los resultados.
Prompt caching
El prompt caching (caché de prompts) es una función de las API que guarda la forma procesada de un prefijo de prompt repetido, como un system prompt o un documento largo, para que las peticiones posteriores que empiezan con el mismo prefijo sean más baratas y rápidas.
Proveedor de inferencia
Un proveedor de inferencia (inference provider) es una empresa que ejecuta modelos de IA en su propio hardware y vende acceso a ellos mediante una API, normalmente cobrando por token. Envías prompts y recibes salidas sin gestionar tú las GPU.
RLHF
El RLHF (reinforcement learning from human feedback, aprendizaje por refuerzo a partir de feedback humano) ajusta un modelo de lenguaje con clasificaciones humanas de sus respuestas: un modelo de recompensa aprende esas preferencias y luego el aprendizaje por refuerzo empuja al modelo hacia las respuestas que puntúan bien.
Self-hosting (modelos de IA)
Hacer self-hosting (autoalojar) un modelo de IA significa ejecutarlo en hardware que controlas, como tus propios servidores, GPU alquiladas o un portátil, en lugar de llamar a la API de un proveedor. Tú eliges el modelo y conservas los datos, pero gestionas la infraestructura.
Serving de modelos
El serving de modelos (model serving) consiste en ejecutar un modelo entrenado como un servicio al que las aplicaciones llaman por la red, con software que carga los pesos en las GPU, pone en cola y agrupa las peticiones, gestiona la memoria y devuelve los resultados.
Streaming (salida de LLM)
El streaming envía la salida de un LLM al cliente fragmento a fragmento a medida que se generan los tokens, en lugar de esperar a la respuesta completa. Los usuarios ven aparecer texto en unos instantes, aunque la respuesta completa tarde mucho más.
Tensor parallelism
El tensor parallelism (paralelismo de tensores) divide cada capa de una red neuronal entre varias GPU, de modo que cada GPU guarda parte de cada matriz de pesos y calcula su parte de cada paso. Permite ejecutar en muchas GPU un modelo demasiado grande para una sola.
Tiempo hasta el primer token
El tiempo hasta el primer token (TTFT, time to first token) es lo que espera un usuario entre enviar una petición a un modelo de lenguaje y recibir el primer token de su respuesta, e incluye la cola, el procesamiento del prompt y el tiempo de red.
Tokens por segundo
Los tokens por segundo (tok/s) miden lo rápido que produce salida un modelo de lenguaje. Se expresan por usuario, la velocidad a la que llega en streaming una respuesta, o por sistema, la salida total de todas las peticiones simultáneas.
TPU
Una TPU (tensor processing unit, unidad de procesamiento tensorial) es el chip propio de Google para machine learning, construido en torno a grandes unidades de multiplicación de matrices y memoria de gran ancho de banda. Google ofrece las TPU a otras empresas como servicio de alquiler en Google Cloud.
VRAM
La VRAM es la memoria de una tarjeta gráfica. En el trabajo con IA contiene los pesos del modelo, la KV cache y los datos de trabajo, y que un modelo quepa o no en la VRAM suele decidir qué GPU necesitas para ejecutarlo.