Saltar al contenido
ReviewRamble

El boletín semanal

La IA, analizada, en tu bandeja de entrada.

  • Nuevas reseñas de herramientas, modelos, servidores MCP y repos, con el veredicto por delante
  • Precios y valoraciones revisados cuando algo cambia
  • Nuevos análisis en cuanto se publican

Modelos, agentes, servidores MCP y las herramientas que de verdad merecen tu tiempo.

Un correo a la semana. Date de baja con el enlace de cualquier boletín. Cómo usamos tu correo

pass@k

pass@k es una métrica para benchmarks de código que da la probabilidad de que al menos una de k soluciones generadas para un problema supere sus pruebas unitarias; pass@1 es la probabilidad de que un solo intento tenga éxito.

También llamado: pass@1, pass@10, pass@100

Por Divya Sharma · Comprobado el 15 nov 2026 · Cómo hacemos las reseñas

El código se puede comprobar ejecutándolo. Así que, en lugar de comparar el código de un modelo con una respuesta de referencia, benchmarks de programación como HumanEval ejecutan pruebas unitarias y dan un problema por resuelto si el código las supera. pass@k pregunta: si el modelo tiene k intentos, ¿qué probabilidad hay de que al menos uno funcione?

Cómo se calcula

La métrica la usaron Kulal y sus colaboradores en 2019 y la convirtió en estándar el artículo de Codex de OpenAI en 2021. Tomar exactamente k muestras y comprobarlas da una cifra con mucho ruido, así que el artículo genera n muestras por problema (usó n = 200), cuenta las c que pasan y calcula una estimación insesgada de pass@k a partir de n, c y k. El artículo incluye una breve función de numpy para hacerlo.

Cómo leer las cifras

pass@1 coincide con el uso que la mayoría hace de un asistente de programación: una respuesta, la tomas o la dejas. pass@10 o pass@100 muestra lo que un modelo puede hacer con reintentos y un conjunto de pruebas que elija la ganadora. Codex resolvió el 28,8% de los problemas de HumanEval con pass@1 y el 70,2% con 100 muestras, lo que muestra cuánto se mueve la cifra con k. Compara modelos solo con el mismo k, la misma temperatura de muestreo y el mismo prompt.

pass@k frente a pass^k

τ-bench usa una métrica relacionada que se escribe pass^k, que pregunta si un agente tiene éxito en los k intentos de la misma tarea. pass@k premia un único acierto afortunado; pass^k premia la constancia. Para agentes que funcionan sin supervisión, pass^k suele ser la cifra más reveladora. Consulta evaluación de LLM para ver cómo encajan en un plan de pruebas más amplio.

Términos relacionados

HumanEval
HumanEval es un benchmark de generación de código publicado por OpenAI en 2021: 164 problemas de Python escritos a mano, cada uno con una firma de función, un docstring y pruebas unitarias, que se usa para comprobar si un modelo escribe código que de verdad funciona.
SWE-bench
SWE-bench es un benchmark de programación construido a partir de issues reales de GitHub en proyectos populares de Python; un modelo o agente debe editar el repositorio para que el issue quede resuelto y pasen las pruebas ocultas del proyecto.
Evaluación de LLM
La evaluación de LLM (LLM evaluation), a menudo llamada evals, consiste en medir lo bien que un modelo o una aplicación de IA realiza una tarea ejecutándolo sobre un conjunto de casos de prueba y puntuando las salidas según criterios definidos, con código, con personas o con otro modelo.
Benchmark de IA
Un benchmark de IA (prueba de referencia) es un conjunto fijo y público de tareas con un método de puntuación acordado, que se usa para comparar modelos en la misma prueba, por ejemplo incidencias de código resueltas, preguntas de examen respondidas o calidad de recuperación en muchos conjuntos de datos.
τ-bench
τ-bench (tau-bench) es un benchmark que pone a prueba agentes de IA en conversaciones simuladas de atención al cliente, en las que un modelo de lenguaje hace de usuario y el agente debe usar herramientas de API del dominio mientras cumple reglas de una política escrita.

Fuentes