Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

Evaluación humana

La evaluación humana (human evaluation) consiste en juzgar las salidas de una IA con personas en lugar de métricas automáticas, por ejemplo evaluadores que puntúan respuestas según una rúbrica o eligen la mejor de dos respuestas anónimas en una prueba a ciegas.

También llamado: human raters, blind test, human grading, pairwise preference

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

Muchas cualidades que importan, como si una respuesta es útil, está bien escrita o es apropiada, son difíciles de puntuar con código. La evaluación humana pregunta a personas. Es la referencia con la que se contrastan los métodos más baratos.

Formatos habituales

En la valoración absoluta, un evaluador puntúa una salida en una escala o según una rúbrica. En la preferencia por pares, un evaluador ve dos salidas para el mismo prompt y elige la mejor; esto es más fácil de hacer de forma coherente. La revisión experta usa especialistas en la materia, como médicos o abogados, cuando los evaluadores generales no pueden juzgar la exactitud. Una prueba a ciegas oculta qué modelo escribió cada respuesta, para que la marca o las expectativas no influyan en el voto.

Dónde aparece

LMArena recoge votos por pares del público y los convierte en un leaderboard; sus autores informan de que los votos colectivos coinciden bien con los de evaluadores expertos. El entrenamiento de modelos también usa preferencias humanas, mediante RLHF. En tu propia aplicación, un pequeño conjunto de ejemplos calificados por personas es la mejor forma de comprobar que un evaluador LLM-as-a-judge coincide con las personas antes de fiarte de él.

Límites

La guía de evaluación de Anthropic considera la calificación humana el método más flexible y de mayor calidad, pero lento y caro. Los evaluadores discrepan, se cansan y se desvían, así que escribe instrucciones claras, mide el acuerdo entre evaluadores y mezcla elementos con respuestas conocidas de un golden dataset. La preferencia tampoco es corrección: una respuesta segura y bien formateada puede ganar una votación y aun así ser errónea.

Términos relacionados

Evaluación de LLM
La evaluación de LLM (LLM evaluation), a menudo llamada evals, consiste en medir lo bien que un modelo o una aplicación de IA realiza una tarea ejecutándolo sobre un conjunto de casos de prueba y puntuando las salidas según criterios definidos, con código, con personas o con otro modelo.
LMArena
LMArena, conocida al principio como Chatbot Arena, es una plataforma pública que clasifica modelos de IA mediante votos humanos colectivos: los usuarios ven cómo dos modelos anónimos responden al mismo prompt y eligen la mejor respuesta.
LLM-as-a-judge
LLM-as-a-judge (LLM como juez) es un método de evaluación en el que un modelo de lenguaje potente califica las salidas de otro modelo o aplicación, usando una rúbrica, una respuesta de referencia o una comparación lado a lado, en lugar de revisores humanos o junto a ellos.
RLHF
El RLHF (reinforcement learning from human feedback, aprendizaje por refuerzo a partir de feedback humano) ajusta un modelo de lenguaje con clasificaciones humanas de sus respuestas: un modelo de recompensa aprende esas preferencias y luego el aprendizaje por refuerzo empuja al modelo hacia las respuestas que puntúan bien.
Golden dataset
Un golden dataset (conjunto de referencia) es un conjunto fijo y cuidadosamente revisado de entradas de ejemplo emparejadas con las respuestas o el comportamiento que esperas, que se usa como referencia al evaluar un sistema de IA o hacerle pruebas de regresión.

Fuentes