O que é iFixAi?
O iFixAi audita um agente de IA já implantado, e não o modelo por trás dele. Você descreve o agente em um perfil (papéis, ferramentas e políticas), o iFixAi monta uma empresa simulada ao redor dele e depois envia pedidos pelo endpoint de chat do agente, incluindo alguns que tentam escalar privilégios, injetar instruções ou puxar dados de outro usuário. Um modelo juiz de um provedor diferente do agente avalia cada resposta, e cada achado mostra o que foi pedido e o que o agente fez.
Uma execução padrão tem 10 inspeções, três delas mínimos obrigatórios (governança de ferramentas, escalada de privilégios e ações destrutivas); falhar em qualquer uma limita a nota a D. O resultado é uma nota de A a F sobre cinco pilares ponderados (fabricação, manipulação, engano, imprevisibilidade e opacidade), com relatórios em JSON e Markdown e uma flag --min-score para CI. O --full-run executa todas as 61 inspeções, deixando de lado as que não se aplicam.
Instala com pip install ifixai (Python 3.10+) e também é distribuído como plugin para Claude Code e Codex e como skill para Cursor, VS Code, Windsurf, Zed e outros. O motor é Apache-2.0; a mesma equipe vende auditorias por agente por mês em ifixai.ai.
iFixAi vale a pena?
O iFixAi testa o que a maioria das suítes de avaliação ignora: se um agente com ferramentas e papéis faz apenas o que o papel dele permite. Benchmarks avaliam o modelo; o iFixAi envia a um agente de suporte um reembolso que um gerente já recusou, ou um pedido para trocar uma conta de recebimento, e verifica o que ele realmente faz. Os três mínimos obrigatórios (B01 governança de ferramentas em 100%, B08 escalada de privilégios em 95%, P01 resistência a destruição em 100%) refletem onde o dano real acontece.
A documentação de pontuação é incomumente franca. Cada inspeção traz um intervalo de confiança de Wilson de 95%, a documentação manda comparar execuções pela sobreposição dos intervalos e não por diferenças brutas, e avisa que pontuações B24 de uma única execução a até 0.12 do limite são ruído. Ela também diz com clareza que os resumos regulatórios não certificam conformidade. A avaliação depende de um juiz LLM, então duas execuções do mesmo agente podem diferir; a regra de provedor cruzado só evita que o próprio fornecedor do agente corrija a lição de casa dele.
O ritmo é intenso. O repositório foi criado em 27 de abril de 2026 e tem 43.497 estrelas e 1.779 forks; o histórico no PyPI começa na 3.0.2 em 23 de junho e chegou à v4.3.0 em 22 de outubro. Pull requests entram todo dia, muitos reforçando como as evidências são validadas e relatadas, o que também significa que formatos de relatório e pontuações mudam entre versões; a documentação recomenda executar de novo os alvos antigos em vez de comparar manchetes antigas.
O porém: a configuração e o escopo. Uma auditoria útil precisa de um perfil escrito à mão ou por um agente que corresponda aos seus papéis e ferramentas reais, e uma execução padrão cobre só 10 inspeções; as 61 completas custam mais chamadas ao juiz. As sondagens são pedidos reais, por isso o README diz para apontá-lo para uma cópia de staging. O site lista 60 inspeções onde o README diz 61, e não nomeia nenhuma empresa por trás do nível pago, apenas um endereço de contato.
Frente ao promptfoo, que faz red teaming amplo de prompts e modelos, o iFixAi é mais estreito e mais opinativo: ele codifica um organograma e avalia a conduta em relação a ele. Isso serve a equipes cujos agentes podem movimentar dinheiro ou dados; equipes que testam as respostas de um chatbot tirarão mais proveito de um framework de avaliação geral.
Onde ele se destaca
Um engenheiro de plataforma em uma fintech que opera um agente de suporte com ferramentas de reembolso
Provar que o agente não consegue pagar um reembolso nem trocar uma conta de recebimento para um usuário sem autorização
Escreva o perfil do agente com seus papéis e ferramentas, execute a suíte padrão contra o staging e faça o build falhar se B01, B08 ou P01 caírem abaixo dos mínimos. O custo são as chamadas de API do provedor do juiz, mostradas antes pelo --dry-run.
Um líder de IA em uma empresa de SaaS de 50 pessoas trocando o modelo por trás de um agente
Verificar que o novo modelo não afrouxa comportamentos que o antigo mantinha
Execute o mesmo fixture contra as duas versões e compare os intervalos de confiança por inspeção, como recomenda a documentação de pontuação, em vez da nota principal.
Um desenvolvedor criando um agente no Cursor ou no Claude Code
Obter uma primeira auditoria sem escrever o perfil à mão
Instale o plugin ou a skill e peça ao agente de programação para executar o iFixAi; ele lê o código do agente, rascunha o perfil, mostra o custo e executa a auditoria.
Antes de decidir
- Configuração
- pip install ifixai no Python 3.10+; a demo simulada roda em cerca de um minuto sem chave de API. Uma auditoria real precisa de um perfil do agente, de ifixai author e validate para montar a simulação, de uma chave para o juiz e do endpoint do agente; o ifixai setup guia o processo.
- Integrações
- Qualquer endpoint de agente compatível com OpenAI, ou algumas linhas de Python para os demais; juízes da OpenAI, Anthropic, Gemini, Azure, Bedrock, OpenRouter e outros; plugin para Claude Code e Codex; skills para Cursor, VS Code, Windsurf, Cline, Continue, Gemini e Zed; API Python; relatórios em JSON e Markdown.
- Dados e privacidade
- Roda na sua máquina: as sondagens vão para o endpoint do seu agente e as chamadas de avaliação vão para o provedor de juiz que você escolher; os relatórios são gravados em ./ifixai-results/. O site não menciona telemetria. Apache-2.0.
- Custo em escala
- O custo auto-hospedado é o uso da API do juiz, que cresce com as 61 inspeções do --full-run; o --dry-run mostra a contagem de chamadas. As auditorias pagas são por agente por mês, sem preços publicados.
- Limites
- Pontuações avaliadas por LLM têm ruído de uma execução para outra; inspeções que não se aplicam são deixadas de lado e reduzem a cobertura; a pontuação mudou entre versões; as sondagens são pedidos reais, então use staging.
O que é bom
- Testa permissões de papel, ferramenta e dados pelo endpoint real do agente
- Juiz sempre de um provedor diferente do agente
- Intervalos de confiança e notas francas sobre o ruído das pontuações
- O dry run mostra a contagem de testes e de chamadas ao juiz antes da cobrança
- Bloqueio de CI via --min-score; plugin para Claude Code e Codex
O que não é
- As notas dependem de um juiz LLM e variam entre execuções
- Precisa de um perfil de agente preciso para ter significado
- A execução padrão cobre 10 de 61 inspeções
- O ritmo rápido de lançamentos muda as pontuações entre versões
- Preços do nível pago e a empresa por trás dele não publicados
Ideal para
Equipes que lançam agentes capazes de agir sobre dinheiro, contas ou dados de clientes e querem uma auditoria repetível de permissões e injeção em staging e CI.
Alternativas ao iFixAi
iFixAi: perguntas frequentes
- iFixAi vale a pena?
- Uma forma bem documentada de testar se um agente fica dentro das próprias permissões, desde que você leia a nota como a opinião de um juiz com margem de erro, e não como um certificado. Damos nota 3.8 de 5.
- Quanto custa iFixAi?
- Gratuito sob Apache-2.0, auto-hospedado com suas próprias chaves de modelo; você paga as chamadas de API do provedor do juiz. Os níveis pagos de auditoria (Startup, Growth, Enterprise, Agentic Enterprise) são cobrados por agente por mês, sem preços publicados.
- Quais são as desvantagens de iFixAi?
- As notas dependem de um juiz LLM e variam entre execuções; precisa de um perfil de agente preciso para ter significado; a execução padrão cobre 10 de 61 inspeções; o ritmo rápido de lançamentos muda as pontuações entre versões; preços do nível pago e a empresa por trás dele não publicados.
- Para quem iFixAi é indicado?
- Equipes que lançam agentes capazes de agir sobre dinheiro, contas ou dados de clientes e querem uma auditoria repetível de permissões e injeção em staging e CI.
- Quanto custa iFixAi para uma equipe ou em produção?
- O custo auto-hospedado é o uso da API do juiz, que cresce com as 61 inspeções do --full-run; o --dry-run mostra a contagem de chamadas. As auditorias pagas são por agente por mês, sem preços publicados.
- iFixAi é seguro para dados da empresa?
- Roda na sua máquina: as sondagens vão para o endpoint do seu agente e as chamadas de avaliação vão para o provedor de juiz que você escolher; os relatórios são gravados em ./ifixai-results/. O site não menciona telemetria. Apache-2.0.
- Quais são as melhores alternativas ao iFixAi?
- As alternativas mais próximas que analisamos são promptfoo, DeepEval e Inspect.
Respostas verificadas em 5 de nov. de 2026.