Pruebas de regresión (aplicaciones con LLM)
Las pruebas de regresión para aplicaciones con LLM consisten en volver a ejecutar un conjunto fijo de casos de evaluación después de cada cambio en un prompt, un modelo, la configuración de recuperación o una herramienta, para detectar casos que antes funcionaban y ahora fallan.
También llamado: LLM regression testing, prompt regression testing, eval regression
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
En el software corriente, una regresión es un fallo en algo que antes funcionaba. Las aplicaciones con LLM sufren regresiones con facilidad: un prompt reformulado arregla una respuesta y estropea otras tres, un proveedor actualiza un modelo o un nuevo ajuste de recuperación cambia el contexto que llega. Las pruebas de regresión lo detectan antes que los usuarios.
Cómo funciona
Empieza con un golden dataset de entradas reales y resultados esperados. Después de cada cambio, pasa todos los casos por la aplicación y califica las salidas: con código cuando existe una respuesta exacta, con LLM-as-a-judge para respuestas abiertas y con personas para una muestra. Compara las puntuaciones con la ejecución anterior y haz fallar el build si bajan. El cookbook de OpenAI lo muestra con una aplicación que resume notificaciones push, comprobando si un cambio de prompt empeora su comportamiento. Herramientas de código abierto como promptfoo te permiten escribir los casos de forma declarativa y ejecutarlos en CI.
Qué la diferencia de las pruebas unitarias
La salida del modelo varía de una ejecución a otra, sobre todo con una temperatura más alta. Ejecuta cada caso más de una vez, sigue las tasas de acierto en lugar de resultados sueltos y fija umbrales en vez de exigir coincidencias exactas. Fija las versiones del modelo cuando puedas, para saber si un cambio vino de tu código o del proveedor.
En producción
Las pruebas offline cubren los casos conocidos. La observabilidad de LLM detecta los que no se te ocurrieron; añade esos fallos al conjunto de pruebas para que sigan arreglados. Juntas forman la parte de pruebas de la evaluación de LLM.
Términos relacionados
- Evaluación de LLM
- La evaluación de LLM (LLM evaluation), a menudo llamada evals, consiste en medir lo bien que un modelo o una aplicación de IA realiza una tarea ejecutándolo sobre un conjunto de casos de prueba y puntuando las salidas según criterios definidos, con código, con personas o con otro modelo.
- Golden dataset
- Un golden dataset (conjunto de referencia) es un conjunto fijo y cuidadosamente revisado de entradas de ejemplo emparejadas con las respuestas o el comportamiento que esperas, que se usa como referencia al evaluar un sistema de IA o hacerle pruebas de regresión.
- LLM-as-a-judge
- LLM-as-a-judge (LLM como juez) es un método de evaluación en el que un modelo de lenguaje potente califica las salidas de otro modelo o aplicación, usando una rúbrica, una respuesta de referencia o una comparación lado a lado, en lugar de revisores humanos o junto a ellos.
- Observabilidad de LLM
- La observabilidad de LLM (LLM observability) consiste en registrar lo que hace una aplicación de IA en producción, incluidos prompts, respuestas, llamadas a herramientas, latencia, uso de tokens y coste, como trazas que puedes buscar, para depurar fallos y ver cómo se comporta el sistema a lo largo del tiempo.
- Temperatura (muestreo)
- La temperatura (temperature) es un ajuste de muestreo que controla lo aleatorias que son las elecciones de palabras de un modelo de lenguaje. Los valores bajos hacen que favorezca los tokens más probables; los más altos reparten las elecciones entre otros menos probables.