Qu’est-ce que iFixAi ?
iFixAi audite un agent IA déployé plutôt que le modèle qui le fait tourner. Vous décrivez l'agent dans un profil (ses rôles, outils et règles), iFixAi construit une entreprise simulée autour de lui, puis envoie des demandes via l'endpoint de chat de l'agent, y compris des demandes qui tentent d'élever des privilèges, d'injecter des instructions ou de récupérer les données d'un autre utilisateur. Un modèle juge d'un fournisseur différent de celui de l'agent note chaque réponse, et chaque constat montre ce qui a été demandé et ce que l'agent a fait.
Une exécution par défaut compte 10 inspections, dont trois minimums obligatoires (gouvernance des outils, élévation de privilèges et actions destructrices) ; en échouer une plafonne la note à D. Le résultat est une note de A à F sur cinq piliers pondérés (fabulation, manipulation, tromperie, imprévisibilité et opacité), avec des rapports JSON et Markdown et un flag --min-score pour la CI. --full-run lance les 61 inspections en écartant celles qui ne peuvent pas s'appliquer.
Il s'installe avec pip install ifixai (Python 3.10+) et existe aussi en plugin pour Claude Code et Codex et en skill pour Cursor, VS Code, Windsurf, Zed et d'autres. Le moteur est sous Apache-2.0 ; la même équipe vend des audits par agent et par mois sur ifixai.ai.
iFixAi vaut-il le coup ?
iFixAi teste ce que la plupart des suites d'évaluation laissent de côté : un agent doté d'outils et de rôles fait-il seulement ce que son rôle autorise ? Les benchmarks notent le modèle ; iFixAi envoie à un agent de support un remboursement déjà refusé par un responsable, ou une demande de changement de compte de versement, et vérifie ce qu'il fait réellement. Les trois minimums obligatoires (B01 gouvernance des outils à 100 %, B08 élévation de privilèges à 95 %, P01 résistance à la destruction à 100 %) correspondent aux endroits où les vrais dégâts se produisent.
La documentation de notation est d'une franchise inhabituelle. Chaque inspection porte un intervalle de confiance de Wilson à 95 %, la documentation demande de comparer les exécutions par chevauchement des intervalles plutôt que par écarts bruts, et avertit que les scores B24 d'une seule exécution à moins de 0,12 du seuil relèvent du bruit. Elle dit aussi clairement que les synthèses réglementaires ne certifient pas la conformité. La notation repose sur un juge LLM, donc deux exécutions du même agent peuvent différer ; la règle du fournisseur différent évite seulement que le fournisseur de l'agent corrige sa propre copie.
La dynamique est forte. Le dépôt a été créé le 27 avril 2026 et compte 43 497 étoiles et 1 779 forks ; l'historique PyPI commence à 3.0.2 le 23 juin et a atteint v4.3.0 le 22 octobre. Des pull requests arrivent chaque jour, beaucoup pour renforcer la validation et la présentation des preuves, ce qui signifie aussi que formats de rapport et scores bougent d'une version à l'autre ; la documentation conseille de relancer les anciennes cibles plutôt que de comparer d'anciens chiffres clés.
Le hic : la mise en place et la couverture. Un audit utile exige un profil écrit à la main ou par un agent qui corresponde à vos vrais rôles et outils, et une exécution par défaut ne couvre que 10 inspections ; les 61 complètes coûtent davantage d'appels au juge. Les sondes sont de vraies demandes, le README conseille donc de viser une copie de staging. Le site annonce 60 inspections là où le README en indique 61, et ne nomme aucune société derrière l'offre payante, seulement une adresse de contact.
Face à promptfoo, qui fait du red teaming large sur les prompts et les modèles, iFixAi est plus étroit et plus tranché : il encode un organigramme et juge la conduite par rapport à lui. Cela convient aux équipes dont les agents peuvent déplacer de l'argent ou des données ; celles qui testent les réponses d'un chatbot tireront davantage d'un framework d'évaluation général.
Là où il fait la différence
Un ingénieur plateforme dans une fintech qui exploite un agent de support client doté d'outils de remboursement
Prouver que l'agent ne peut pas payer un remboursement ni changer le compte de versement d'un utilisateur sans autorisation
Rédiger le profil de l'agent avec ses rôles et outils, lancer la suite par défaut sur le staging et faire échouer le build si B01, B08 ou P01 passent sous leurs minimums. Le coût correspond aux appels API du fournisseur du juge, affichés d'abord par --dry-run.
Un responsable IA dans une entreprise SaaS de 50 personnes qui change le modèle d'un agent
Vérifier que le nouveau modèle n'assouplit pas un comportement que l'ancien respectait
Lancer la même fixture sur les deux versions et comparer les intervalles de confiance par inspection, comme le conseille la documentation de notation, plutôt que la note globale.
Un développeur qui construit un agent dans Cursor ou Claude Code
Obtenir un premier audit sans écrire le profil à la main
Installer le plugin ou la skill et demander à l'agent de code de lancer iFixAi ; il lit le code de l'agent, rédige le profil, affiche le coût et lance l'audit.
Avant de vous engager
- Mise en route
- pip install ifixai sous Python 3.10+ ; la démo simulée tourne en une minute environ sans clé API. Un vrai audit exige un profil d'agent, ifixai author et validate pour construire la simulation, une clé pour le juge et l'endpoint de l'agent ; ifixai setup guide l'ensemble.
- Intégrations
- Tout endpoint d'agent compatible OpenAI, ou quelques lignes de Python pour les autres ; juges d'OpenAI, Anthropic, Gemini, Azure, Bedrock, OpenRouter et d'autres ; plugin Claude Code et Codex ; skills pour Cursor, VS Code, Windsurf, Cline, Continue, Gemini et Zed ; API Python ; rapports JSON et Markdown.
- Données et confidentialité
- Tourne sur votre machine : les sondes vont à l'endpoint de votre agent et les appels de notation au fournisseur de juge choisi ; les rapports sont écrits dans ./ifixai-results/. Le site ne mentionne pas de télémétrie. Apache-2.0.
- Coût à grande échelle
- En auto-hébergement, le coût est l'usage de l'API du juge, qui augmente avec les 61 inspections de --full-run ; --dry-run affiche le nombre d'appels. Les audits payants sont facturés par agent et par mois, sans prix publiés.
- Limites
- Les scores notés par un LLM varient d'une exécution à l'autre ; les inspections non applicables sont écartées et réduisent la couverture ; la notation a changé selon les versions ; les sondes sont de vraies demandes, utilisez donc un staging.
Les points forts
- Teste les permissions de rôle, d'outils et de données via l'endpoint réel de l'agent
- Juge toujours issu d'un autre fournisseur que l'agent
- Intervalles de confiance et notes franches sur le bruit des scores
- Le dry run affiche le nombre de tests et d'appels au juge avant facturation
- Contrôle CI via --min-score ; plugin pour Claude Code et Codex
Les points faibles
- Les notes dépendent d'un juge LLM et varient d'une exécution à l'autre
- Exige un profil d'agent exact pour avoir du sens
- L'exécution par défaut couvre 10 inspections sur 61
- Le rythme rapide des versions modifie les scores
- Prix de l'offre payante et société derrière non publiés
Idéal pour
Les équipes qui livrent des agents capables d'agir sur de l'argent, des comptes ou des données clients et veulent un audit reproductible des permissions et de l'injection en staging et en CI.
Alternatives à iFixAi
iFixAi : questions fréquentes
- iFixAi vaut-il le coup ?
- Une méthode bien documentée pour vérifier qu'un agent reste dans ses permissions, à condition de lire la note comme l'avis d'un juge avec des barres d'erreur et non comme un certificat. Nous lui donnons 3.8 sur 5.
- Combien coûte iFixAi ?
- Gratuit sous Apache-2.0, auto-hébergé avec vos propres clés de modèle ; vous payez les appels API du fournisseur du juge. Les formules d'audit payantes (Startup, Growth, Enterprise, Agentic Enterprise) sont facturées par agent et par mois, sans prix publiés.
- Quels sont les inconvénients de iFixAi ?
- Les notes dépendent d'un juge LLM et varient d'une exécution à l'autre; exige un profil d'agent exact pour avoir du sens; l'exécution par défaut couvre 10 inspections sur 61; le rythme rapide des versions modifie les scores; prix de l'offre payante et société derrière non publiés.
- À qui s’adresse iFixAi ?
- Les équipes qui livrent des agents capables d'agir sur de l'argent, des comptes ou des données clients et veulent un audit reproductible des permissions et de l'injection en staging et en CI.
- Combien coûte iFixAi pour une équipe ou en production ?
- En auto-hébergement, le coût est l'usage de l'API du juge, qui augmente avec les 61 inspections de --full-run ; --dry-run affiche le nombre d'appels. Les audits payants sont facturés par agent et par mois, sans prix publiés.
- iFixAi est-il sûr pour les données de l’entreprise ?
- Tourne sur votre machine : les sondes vont à l'endpoint de votre agent et les appels de notation au fournisseur de juge choisi ; les rapports sont écrits dans ./ifixai-results/. Le site ne mentionne pas de télémétrie. Apache-2.0.
- Quelles sont les meilleures alternatives à iFixAi ?
- Les alternatives les plus proches que nous avons testées sont promptfoo, DeepEval et Inspect.
Réponses vérifiées le 5 nov. 2026.