Evaluación humana
La evaluación humana (human evaluation) consiste en juzgar las salidas de una IA con personas en lugar de métricas automáticas, por ejemplo evaluadores que puntúan respuestas según una rúbrica o eligen la mejor de dos respuestas anónimas en una prueba a ciegas.
También llamado: human raters, blind test, human grading, pairwise preference
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
Muchas cualidades que importan, como si una respuesta es útil, está bien escrita o es apropiada, son difíciles de puntuar con código. La evaluación humana pregunta a personas. Es la referencia con la que se contrastan los métodos más baratos.
Formatos habituales
En la valoración absoluta, un evaluador puntúa una salida en una escala o según una rúbrica. En la preferencia por pares, un evaluador ve dos salidas para el mismo prompt y elige la mejor; esto es más fácil de hacer de forma coherente. La revisión experta usa especialistas en la materia, como médicos o abogados, cuando los evaluadores generales no pueden juzgar la exactitud. Una prueba a ciegas oculta qué modelo escribió cada respuesta, para que la marca o las expectativas no influyan en el voto.
Dónde aparece
LMArena recoge votos por pares del público y los convierte en un leaderboard; sus autores informan de que los votos colectivos coinciden bien con los de evaluadores expertos. El entrenamiento de modelos también usa preferencias humanas, mediante RLHF. En tu propia aplicación, un pequeño conjunto de ejemplos calificados por personas es la mejor forma de comprobar que un evaluador LLM-as-a-judge coincide con las personas antes de fiarte de él.
Límites
La guía de evaluación de Anthropic considera la calificación humana el método más flexible y de mayor calidad, pero lento y caro. Los evaluadores discrepan, se cansan y se desvían, así que escribe instrucciones claras, mide el acuerdo entre evaluadores y mezcla elementos con respuestas conocidas de un golden dataset. La preferencia tampoco es corrección: una respuesta segura y bien formateada puede ganar una votación y aun así ser errónea.
Términos relacionados
- Evaluación de LLM
- La evaluación de LLM (LLM evaluation), a menudo llamada evals, consiste en medir lo bien que un modelo o una aplicación de IA realiza una tarea ejecutándolo sobre un conjunto de casos de prueba y puntuando las salidas según criterios definidos, con código, con personas o con otro modelo.
- LMArena
- LMArena, conocida al principio como Chatbot Arena, es una plataforma pública que clasifica modelos de IA mediante votos humanos colectivos: los usuarios ven cómo dos modelos anónimos responden al mismo prompt y eligen la mejor respuesta.
- LLM-as-a-judge
- LLM-as-a-judge (LLM como juez) es un método de evaluación en el que un modelo de lenguaje potente califica las salidas de otro modelo o aplicación, usando una rúbrica, una respuesta de referencia o una comparación lado a lado, en lugar de revisores humanos o junto a ellos.
- RLHF
- El RLHF (reinforcement learning from human feedback, aprendizaje por refuerzo a partir de feedback humano) ajusta un modelo de lenguaje con clasificaciones humanas de sus respuestas: un modelo de recompensa aprende esas preferencias y luego el aprendizaje por refuerzo empuja al modelo hacia las respuestas que puntúan bien.
- Golden dataset
- Un golden dataset (conjunto de referencia) es un conjunto fijo y cuidadosamente revisado de entradas de ejemplo emparejadas con las respuestas o el comportamiento que esperas, que se usa como referencia al evaluar un sistema de IA o hacerle pruebas de regresión.