Evaluación de LLM
La evaluación de LLM (LLM evaluation), a menudo llamada evals, consiste en medir lo bien que un modelo o una aplicación de IA realiza una tarea ejecutándolo sobre un conjunto de casos de prueba y puntuando las salidas según criterios definidos, con código, con personas o con otro modelo.
También llamado: evals, LLM evals, model evaluation
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Cambiar un prompt, sustituir un modelo o añadir un paso de recuperación puede hacer que una aplicación mejore con una entrada y empeore con otras. Las evals son la forma de descubrirlo antes que los usuarios. La documentación de Anthropic lo dice con sencillez: define primero los criterios de éxito y después diseña evaluaciones para medir frente a ellos.
Cómo funciona
Una eval tiene tres partes. Un conjunto de entradas, idealmente sacadas del uso real e incluyendo casos límite, que a menudo se mantiene como un golden dataset con respuestas de referencia. Una forma de ejecutar el sistema con cada entrada. Y un evaluador. Los evaluadores van desde la coincidencia exacta y las comprobaciones con código (si el JSON se puede analizar, si la prueba pasa) hasta las puntuaciones de similitud, la revisión humana y el LLM-as-a-judge, en el que un segundo modelo puntúa la respuesta según una rúbrica. La guía de Anthropic aconseja estructurar las preguntas para que la corrección se pueda automatizar, y preferir más casos de prueba a menos casos corregidos a mano.
Evals de modelos frente a evals de aplicaciones
Los benchmarks de IA públicos evalúan modelos en tareas compartidas, lo que te ayuda a hacer una lista corta. Las evals de aplicaciones usan tus propios datos, prompts y herramientas, lo que te dice si el sistema funciona para tus usuarios. El proyecto HELM defendió medir los modelos con muchas métricas a la vez, como la precisión, la calibración y la robustez, y no solo la precisión; la misma idea se aplica a tus propias evals.
En la práctica
Los equipos ejecutan evals en CI con cada cambio de prompt o de modelo, una práctica llamada pruebas de regresión de LLM, y añaden como casos nuevos los fallos encontrados en las trazas de producción. Entre los frameworks de código abierto están promptfoo, DeepEval y Ragas. La guía de la fase de evaluación compara herramientas. Las evals de seguridad, en las que las entradas son ataques, se suelen llamar red teaming.
Términos relacionados
- LLM-as-a-judge
- LLM-as-a-judge (LLM como juez) es un método de evaluación en el que un modelo de lenguaje potente califica las salidas de otro modelo o aplicación, usando una rúbrica, una respuesta de referencia o una comparación lado a lado, en lugar de revisores humanos o junto a ellos.
- Benchmark de IA
- Un benchmark de IA (prueba de referencia) es un conjunto fijo y público de tareas con un método de puntuación acordado, que se usa para comparar modelos en la misma prueba, por ejemplo incidencias de código resueltas, preguntas de examen respondidas o calidad de recuperación en muchos conjuntos de datos.
- Red teaming de IA
- El red teaming de IA (AI red teaming) es la práctica de atacar a propósito un modelo o una aplicación de IA antes y después de su lanzamiento, con probadores humanos o herramientas automáticas, para encontrar salidas dañinas, jailbreaks, inyecciones y otros fallos y poder corregirlos.
- Golden dataset
- Un golden dataset (conjunto de referencia) es un conjunto fijo y cuidadosamente revisado de entradas de ejemplo emparejadas con las respuestas o el comportamiento que esperas, que se usa como referencia al evaluar un sistema de IA o hacerle pruebas de regresión.
- Pruebas de regresión (aplicaciones con LLM)
- Las pruebas de regresión para aplicaciones con LLM consisten en volver a ejecutar un conjunto fijo de casos de evaluación después de cada cambio en un prompt, un modelo, la configuración de recuperación o una herramienta, para detectar casos que antes funcionaban y ahora fallan.