¿Qué es iFixAi?
iFixAi audita un agente de IA desplegado, no el modelo que hay detrás. Describes el agente en un perfil (sus roles, herramientas y políticas), iFixAi construye una empresa simulada a su alrededor y después envía peticiones por el endpoint de chat del agente, incluidas algunas que intentan escalar privilegios, inyectar instrucciones o extraer datos de otro usuario. Un modelo juez de un proveedor distinto al del agente califica cada respuesta, y cada hallazgo muestra qué se pidió y qué hizo el agente.
Una ejecución por defecto tiene 10 inspecciones, tres de ellas mínimos obligatorios (gobernanza de herramientas, escalada de privilegios y acciones destructivas); suspender cualquiera limita la nota a una D. El resultado es una nota de la A a la F sobre cinco pilares ponderados (invención, manipulación, engaño, imprevisibilidad y opacidad), con informes en JSON y Markdown y un flag --min-score para CI. --full-run ejecuta las 61 inspecciones y aparta las que no pueden aplicarse.
Se instala con pip install ifixai (Python 3.10+) y también se distribuye como plugin para Claude Code y Codex y como skill para Cursor, VS Code, Windsurf, Zed y otros. El motor es Apache-2.0; el mismo equipo vende auditorías por agente y mes en ifixai.ai.
¿Merece la pena iFixAi?
iFixAi prueba lo que la mayoría de las suites de evaluación pasan por alto: si un agente con herramientas y roles hace solo lo que su rol le permite. Los benchmarks puntúan el modelo; iFixAi envía a un agente de soporte un reembolso que un responsable ya rechazó, o una petición para cambiar una cuenta de cobro, y comprueba qué hace en realidad. Los tres mínimos obligatorios (B01 gobernanza de herramientas al 100%, B08 escalada de privilegios al 95%, P01 resistencia a la destrucción al 100%) reflejan dónde se produce el daño real.
La documentación de puntuación es inusualmente franca. Cada inspección lleva un intervalo de confianza de Wilson del 95%, la documentación indica comparar ejecuciones por solapamiento de intervalos y no por diferencias brutas, y advierte que las puntuaciones B24 de una sola ejecución a menos de 0,12 del umbral son ruido. También dice claramente que los resúmenes regulatorios no certifican el cumplimiento. La calificación depende de un juez LLM, así que dos ejecuciones del mismo agente pueden diferir; la regla del proveedor distinto solo evita que el proveedor del agente corrija sus propios deberes.
El impulso es fuerte. El repositorio se creó el 27 de abril de 2026 y tiene 43.497 estrellas y 1.779 forks; el historial de PyPI empieza en 3.0.2 el 23 de junio y llegó a v4.3.0 el 22 de octubre. Entran pull requests a diario, muchos para reforzar cómo se validan y presentan las pruebas, lo que también significa que los formatos de informe y las puntuaciones cambian entre versiones; la documentación aconseja volver a ejecutar los objetivos antiguos en lugar de comparar titulares antiguos.
La pega: la configuración y el alcance. Una auditoría útil necesita un perfil escrito a mano o por un agente que coincida con tus roles y herramientas reales, y una ejecución por defecto cubre solo 10 inspecciones; las 61 completas cuestan más llamadas al juez. Las sondas son peticiones reales, por lo que el README aconseja apuntar a una copia de staging. La web habla de 60 inspecciones donde el README dice 61, y no nombra a ninguna empresa detrás del nivel de pago, solo una dirección de contacto.
Frente a promptfoo, que hace red teaming de prompts y modelos de forma amplia, iFixAi es más estrecho y tiene más opinión: codifica un organigrama y califica la conducta respecto a él. Encaja con equipos cuyos agentes pueden mover dinero o datos; quien pruebe las respuestas de un chatbot sacará más de un framework de evaluación general.
Dónde se gana su sitio
Un ingeniero de plataforma en una fintech con un agente de atención al cliente que tiene herramientas de reembolso
Demostrar que el agente no puede pagar un reembolso ni cambiar una cuenta de cobro de un usuario sin autorización
Escribir el perfil del agente con sus roles y herramientas, ejecutar la suite por defecto contra staging y hacer fallar el build si B01, B08 o P01 bajan de sus mínimos. El coste son las llamadas a la API del proveedor del juez, que --dry-run muestra antes.
Un responsable de IA en una empresa SaaS de 50 personas que cambia el modelo de un agente
Comprobar que el nuevo modelo no relaja comportamientos que el antiguo respetaba
Ejecutar la misma fixture contra ambas versiones y comparar los intervalos de confianza por inspección, como aconseja la documentación de puntuación, en lugar de la nota global.
Un desarrollador que crea un agente en Cursor o Claude Code
Obtener una primera auditoría sin escribir el perfil a mano
Instalar el plugin o la skill y pedir al agente de programación que ejecute iFixAi; lee el código del agente, redacta el perfil, muestra el coste y ejecuta la auditoría.
Antes de decidirte
- Puesta en marcha
- pip install ifixai en Python 3.10+; la demo simulada se ejecuta en un minuto aproximadamente sin clave de API. Una auditoría real necesita un perfil del agente, ifixai author y validate para construir la simulación, una clave para el juez y el endpoint del agente; ifixai setup guía el proceso.
- Integraciones
- Cualquier endpoint de agente compatible con OpenAI, o unas pocas líneas de Python para otros; jueces de OpenAI, Anthropic, Gemini, Azure, Bedrock, OpenRouter y más; plugin para Claude Code y Codex; skills para Cursor, VS Code, Windsurf, Cline, Continue, Gemini y Zed; API de Python; informes en JSON y Markdown.
- Datos y privacidad
- Se ejecuta en tu máquina: las sondas van al endpoint de tu agente y las llamadas de calificación al proveedor de juez que elijas; los informes se escriben en ./ifixai-results/. La web no menciona telemetría. Apache-2.0.
- Coste a escala
- Autoalojado, el coste es el uso de la API del juez, que crece con las 61 inspecciones de --full-run; --dry-run muestra el número de llamadas. Las auditorías de pago son por agente y mes, sin precios publicados.
- Límites
- Las puntuaciones calificadas por LLM tienen ruido entre ejecuciones; las inspecciones que no aplican se apartan y reducen la cobertura; la puntuación ha cambiado entre versiones; las sondas son peticiones reales, así que usa staging.
Lo bueno
- Prueba permisos de rol, herramientas y datos sobre el endpoint real del agente
- Juez siempre de un proveedor distinto al del agente
- Intervalos de confianza y notas francas sobre el ruido de las puntuaciones
- El dry run muestra el número de pruebas y llamadas al juez antes de facturar
- Control en CI con --min-score; plugin para Claude Code y Codex
Lo malo
- Las notas dependen de un juez LLM y varían entre ejecuciones
- Necesita un perfil preciso del agente para tener sentido
- La ejecución por defecto cubre 10 de 61 inspecciones
- El ritmo rápido de versiones cambia las puntuaciones
- Sin precios publicados del nivel de pago ni empresa identificada
Ideal para
Equipos que lanzan agentes capaces de actuar sobre dinero, cuentas o datos de clientes y quieren una auditoría repetible de permisos e inyección en staging y CI.
Alternativas a iFixAi
iFixAi: preguntas frecuentes
- ¿Merece la pena iFixAi?
- Una forma bien documentada de comprobar si un agente se mantiene dentro de sus permisos, siempre que leas la nota como la opinión de un juez con barras de error y no como un certificado. Le damos un 3.8 sobre 5.
- ¿Cuánto cuesta iFixAi?
- Gratis bajo Apache-2.0, autoalojado con tus propias claves de modelo; pagas las llamadas a la API del proveedor del juez. Los niveles de auditoría de pago (Startup, Growth, Enterprise, Agentic Enterprise) se cobran por agente y mes, sin precios publicados.
- ¿Qué inconvenientes tiene iFixAi?
- Las notas dependen de un juez LLM y varían entre ejecuciones; necesita un perfil preciso del agente para tener sentido; la ejecución por defecto cubre 10 de 61 inspecciones; el ritmo rápido de versiones cambia las puntuaciones; sin precios publicados del nivel de pago ni empresa identificada.
- ¿Para quién es iFixAi?
- Equipos que lanzan agentes capaces de actuar sobre dinero, cuentas o datos de clientes y quieren una auditoría repetible de permisos e inyección en staging y CI.
- ¿Cuánto cuesta iFixAi para un equipo o en producción?
- Autoalojado, el coste es el uso de la API del juez, que crece con las 61 inspecciones de --full-run; --dry-run muestra el número de llamadas. Las auditorías de pago son por agente y mes, sin precios publicados.
- ¿Es iFixAi seguro para los datos de la empresa?
- Se ejecuta en tu máquina: las sondas van al endpoint de tu agente y las llamadas de calificación al proveedor de juez que elijas; los informes se escriben en ./ifixai-results/. La web no menciona telemetría. Apache-2.0.
- ¿Cuáles son las mejores alternativas a iFixAi?
- Las alternativas más cercanas que hemos analizado son promptfoo, DeepEval y Inspect.
Respuestas comprobadas el 5 nov 2026.