Puntuación Elo (arenas de modelos)
Una puntuación Elo, en las arenas de modelos, es una cifra calculada a partir de muchos votos cara a cara entre pares de modelos, de modo que la diferencia entre dos puntuaciones predice con qué frecuencia se preferirá la respuesta de un modelo frente a la del otro.
También llamado: arena score, Bradley-Terry, Elo score, Bradley-Terry model
Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas
El sistema Elo se diseñó para clasificar a jugadores de ajedrez a partir de los resultados de sus partidas. Las arenas de modelos lo tomaron prestado porque sus datos tienen la misma forma: dos modelos responden a un mismo prompt, una persona elige la mejor respuesta y el resultado cuenta como victoria, derrota o empate.
Cómo funciona
Cada modelo recibe un número. Si un modelo con puntuación alta gana a uno con puntuación baja, ambas puntuaciones se mueven un poco; una sorpresa las mueve más. Tras miles de votos, los números se estabilizan de forma que la diferencia entre dos puntuaciones se corresponde con una tasa de victorias esperada.
Elo frente a Bradley-Terry
El Elo clásico actualiza las puntuaciones partida a partida, así que el orden de las partidas afecta al resultado. Eso encaja con jugadores cuya habilidad cambia con el tiempo, pero una versión de un modelo no cambia. El artículo de Chatbot Arena explica que el leaderboard pasó de las puntuaciones Elo a los coeficientes de Bradley-Terry, un modelo estadístico de comparaciones por pares ajustado a todos los votos a la vez, porque son mejores para la estimación estadística. El artículo describe la probabilidad de que un modelo gane a otro como una función logística de la diferencia entre sus coeficientes, y da intervalos de confianza para cada puntuación. Leaderboards como LMArena siguen llamando al resultado arena score o puntuación de tipo Elo.
Cómo leerla
El número absoluto no significa nada por sí solo; solo importan las diferencias, y solo dentro del mismo leaderboard. Mira el intervalo de confianza: dos modelos cuyos intervalos se solapan no están clasificados de forma fiable. Las puntuaciones también dependen de quién vota y de qué pregunta, así que una arena score refleja la preferencia general en chat, no el rendimiento en tu tarea. Combínala con un benchmark de IA específico de la tarea y con tu propia evaluación humana.
Términos relacionados
- Leaderboard (IA)
- Un leaderboard de IA (tabla de clasificación) es una clasificación pública de modelos según sus puntuaciones en uno o más benchmarks o en votos de preferencia humana, que se actualiza a medida que se prueban modelos nuevos, para que se puedan comparar modelos lado a lado.
- LMArena
- LMArena, conocida al principio como Chatbot Arena, es una plataforma pública que clasifica modelos de IA mediante votos humanos colectivos: los usuarios ven cómo dos modelos anónimos responden al mismo prompt y eligen la mejor respuesta.
- Evaluación humana
- La evaluación humana (human evaluation) consiste en juzgar las salidas de una IA con personas en lugar de métricas automáticas, por ejemplo evaluadores que puntúan respuestas según una rúbrica o eligen la mejor de dos respuestas anónimas en una prueba a ciegas.
- Benchmark de IA
- Un benchmark de IA (prueba de referencia) es un conjunto fijo y público de tareas con un método de puntuación acordado, que se usa para comparar modelos en la misma prueba, por ejemplo incidencias de código resueltas, preguntas de examen respondidas o calidad de recuperación en muchos conjuntos de datos.