Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

LLM-as-a-judge

LLM-as-a-judge (LLM como juez) es un método de evaluación en el que un modelo de lenguaje potente califica las salidas de otro modelo o aplicación, usando una rúbrica, una respuesta de referencia o una comparación lado a lado, en lugar de revisores humanos o junto a ellos.

También llamado: judge model, LLM judge, model-graded eval

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

Muchas salidas de IA no se pueden comprobar con una coincidencia exacta: un resumen, una respuesta de soporte, un consejo. La revisión humana es la referencia de calidad, pero es lenta y cara. Un modelo juez puede puntuar miles de salidas rápidamente, lo que lo convierte en un evaluador habitual en la evaluación de LLM.

Cómo funciona

Das al juez la entrada, la salida que hay que calificar y unas instrucciones. Los formatos habituales son una puntuación única según una rúbrica (por ejemplo, si la respuesta es fiel a la fuente, de 1 a 5), aprobado o suspenso en una regla concreta, o una elección por pares entre dos respuestas. Pedir al juez que explique su razonamiento antes de dar una puntuación hace que sus decisiones sean más fáciles de auditar.

Zheng et al. dieron nombre al método y lo estudiaron con MT-Bench y Chatbot Arena. Informaron de que jueces potentes como GPT-4 alcanzaban más de un 80% de acuerdo con las preferencias humanas, más o menos el nivel de acuerdo entre personas.

Sesgos conocidos

El mismo artículo documentó problemas que conviene tener en cuenta en el diseño. Sesgo de posición: preferir la respuesta que aparece primero. Sesgo de verbosidad: preferir las respuestas más largas. Sesgo de autopromoción: preferir las respuestas escritas por la misma familia de modelos que el juez. Los jueces también tienen dificultades para calificar matemáticas y razonamientos que ellos mismos no saben hacer. Las soluciones habituales son cambiar el orden de las respuestas y promediar, dar al juez respuestas de referencia y usar como juez una familia de modelos distinta.

Mantén a las personas en el circuito

Contrasta una muestra de las puntuaciones del juez con una evaluación humana antes de fiarte de ellas, y vuelve a comprobarlo cuando cambies el modelo juez o el prompt. Un golden dataset con etiquetas humanas hace que esta calibración sea repetible. Frameworks como DeepEval y promptfoo incluyen métricas de juez ya preparadas.

Términos relacionados

Evaluación de LLM
La evaluación de LLM (LLM evaluation), a menudo llamada evals, consiste en medir lo bien que un modelo o una aplicación de IA realiza una tarea ejecutándolo sobre un conjunto de casos de prueba y puntuando las salidas según criterios definidos, con código, con personas o con otro modelo.
Evaluación humana
La evaluación humana (human evaluation) consiste en juzgar las salidas de una IA con personas en lugar de métricas automáticas, por ejemplo evaluadores que puntúan respuestas según una rúbrica o eligen la mejor de dos respuestas anónimas en una prueba a ciegas.
Golden dataset
Un golden dataset (conjunto de referencia) es un conjunto fijo y cuidadosamente revisado de entradas de ejemplo emparejadas con las respuestas o el comportamiento que esperas, que se usa como referencia al evaluar un sistema de IA o hacerle pruebas de regresión.
LMArena
LMArena, conocida al principio como Chatbot Arena, es una plataforma pública que clasifica modelos de IA mediante votos humanos colectivos: los usuarios ven cómo dos modelos anónimos responden al mismo prompt y eligen la mejor respuesta.

Fuentes