Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Pruebas de regresión (aplicaciones con LLM)

Las pruebas de regresión para aplicaciones con LLM consisten en volver a ejecutar un conjunto fijo de casos de evaluación después de cada cambio en un prompt, un modelo, la configuración de recuperación o una herramienta, para detectar casos que antes funcionaban y ahora fallan.

También llamado: LLM regression testing, prompt regression testing, eval regression

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

En el software corriente, una regresión es un fallo en algo que antes funcionaba. Las aplicaciones con LLM sufren regresiones con facilidad: un prompt reformulado arregla una respuesta y estropea otras tres, un proveedor actualiza un modelo o un nuevo ajuste de recuperación cambia el contexto que llega. Las pruebas de regresión lo detectan antes que los usuarios.

Cómo funciona

Empieza con un golden dataset de entradas reales y resultados esperados. Después de cada cambio, pasa todos los casos por la aplicación y califica las salidas: con código cuando existe una respuesta exacta, con LLM-as-a-judge para respuestas abiertas y con personas para una muestra. Compara las puntuaciones con la ejecución anterior y haz fallar el build si bajan. El cookbook de OpenAI lo muestra con una aplicación que resume notificaciones push, comprobando si un cambio de prompt empeora su comportamiento. Herramientas de código abierto como promptfoo te permiten escribir los casos de forma declarativa y ejecutarlos en CI.

Qué la diferencia de las pruebas unitarias

La salida del modelo varía de una ejecución a otra, sobre todo con una temperatura más alta. Ejecuta cada caso más de una vez, sigue las tasas de acierto en lugar de resultados sueltos y fija umbrales en vez de exigir coincidencias exactas. Fija las versiones del modelo cuando puedas, para saber si un cambio vino de tu código o del proveedor.

En producción

Las pruebas offline cubren los casos conocidos. La observabilidad de LLM detecta los que no se te ocurrieron; añade esos fallos al conjunto de pruebas para que sigan arreglados. Juntas forman la parte de pruebas de la evaluación de LLM.

Términos relacionados

Evaluación de LLM
La evaluación de LLM (LLM evaluation), a menudo llamada evals, consiste en medir lo bien que un modelo o una aplicación de IA realiza una tarea ejecutándolo sobre un conjunto de casos de prueba y puntuando las salidas según criterios definidos, con código, con personas o con otro modelo.
Golden dataset
Un golden dataset (conjunto de referencia) es un conjunto fijo y cuidadosamente revisado de entradas de ejemplo emparejadas con las respuestas o el comportamiento que esperas, que se usa como referencia al evaluar un sistema de IA o hacerle pruebas de regresión.
LLM-as-a-judge
LLM-as-a-judge (LLM como juez) es un método de evaluación en el que un modelo de lenguaje potente califica las salidas de otro modelo o aplicación, usando una rúbrica, una respuesta de referencia o una comparación lado a lado, en lugar de revisores humanos o junto a ellos.
Observabilidad de LLM
La observabilidad de LLM (LLM observability) consiste en registrar lo que hace una aplicación de IA en producción, incluidos prompts, respuestas, llamadas a herramientas, latencia, uso de tokens y coste, como trazas que puedes buscar, para depurar fallos y ver cómo se comporta el sistema a lo largo del tiempo.
Temperatura (muestreo)
La temperatura (temperature) es un ajuste de muestreo que controla lo aleatorias que son las elecciones de palabras de un modelo de lenguaje. Los valores bajos hacen que favorezca los tokens más probables; los más altos reparten las elecciones entre otros menos probables.

Fuentes