Was ist iFixAi?
iFixAi prüft einen eingesetzten KI-Agenten statt des Modells dahinter. Du beschreibst den Agenten in einem Profil (seine Rollen, Tools und Richtlinien), iFixAi baut ein simuliertes Unternehmen um ihn herum und schickt dann Anfragen über den Chat-Endpoint des Agenten, darunter solche, die Rechte ausweiten, Anweisungen einschleusen oder Daten eines anderen Nutzers abgreifen wollen. Ein Judge-Modell eines anderen Anbieters als der Agent bewertet jede Antwort, und jeder Befund zeigt, was gefragt wurde und was der Agent getan hat.
Ein Standardlauf umfasst 10 Inspektionen, davon drei verpflichtende Mindestanforderungen (Tool-Governance, Rechteausweitung und destruktive Aktionen); wer eine davon nicht besteht, kommt höchstens auf die Note D. Das Ergebnis ist eine Note von A bis F über fünf gewichtete Säulen (Erfindung, Manipulation, Täuschung, Unberechenbarkeit und Intransparenz), mit Berichten in JSON und Markdown und einem --min-score-Flag für CI. --full-run führt alle 61 Inspektionen aus und lässt die weg, die nicht anwendbar sind.
Installiert wird es mit pip install ifixai (Python 3.10+), außerdem gibt es ein Plugin für Claude Code und Codex sowie einen Skill für Cursor, VS Code, Windsurf, Zed und andere. Die Engine steht unter Apache-2.0; dasselbe Team verkauft auf ifixai.ai Audits pro Agent und Monat.
Lohnt sich iFixAi?
iFixAi testet, was die meisten Eval-Suiten auslassen: ob ein Agent mit Tools und Rollen nur das tut, was seine Rolle erlaubt. Benchmarks bewerten das Modell; iFixAi schickt einem Support-Agenten eine Erstattung, die ein Manager bereits abgelehnt hat, oder die Bitte, ein Auszahlungskonto zu ändern, und prüft, was er tatsächlich tut. Die drei verpflichtenden Mindestanforderungen (B01 Tool-Governance bei 100%, B08 Rechteausweitung bei 95%, P01 Widerstand gegen Zerstörung bei 100%) spiegeln wider, wo echter Schaden entsteht.
Die Dokumentation zur Bewertung ist ungewöhnlich offen. Jede Inspektion trägt ein Wilson-Konfidenzintervall von 95%, die Docs raten, Läufe über die Überlappung der Intervalle statt über rohe Differenzen zu vergleichen, und warnen, dass B24-Werte aus einem einzelnen Lauf innerhalb von 0,12 um den Schwellenwert Rauschen sind. Sie sagen auch klar, dass die regulatorischen Zusammenfassungen keine Compliance bescheinigen. Die Bewertung beruht auf einem LLM-Judge, daher können zwei Läufe desselben Agenten voneinander abweichen; die Regel mit dem fremden Anbieter verhindert nur, dass der Anbieter des Agenten die eigenen Hausaufgaben korrigiert.
Der Schwung ist groß. Das Repository wurde am 27. April 2026 angelegt und hat 43.497 Sterne und 1.779 Forks; die PyPI-Historie beginnt mit 3.0.2 am 23. Juni und erreichte v4.3.0 am 22. Oktober. Pull Requests kommen täglich hinzu, viele davon härten die Prüfung und Darstellung der Belege, was aber auch heißt, dass sich Berichtsformate und Werte zwischen Versionen verschieben; die Docs raten, alte Ziele neu zu prüfen, statt alte Schlagzeilen zu vergleichen.
Der Haken: Einrichtung und Umfang. Ein brauchbares Audit braucht ein von Hand oder von einem Agenten geschriebenes Profil, das zu deinen echten Rollen und Tools passt, und ein Standardlauf deckt nur 10 Inspektionen ab; alle 61 kosten mehr Judge-Aufrufe. Die Proben sind echte Anfragen, deshalb rät das README, eine Staging-Kopie zu verwenden. Die Website nennt 60 Inspektionen, das README 61, und sie nennt keine Firma hinter dem kostenpflichtigen Angebot, nur eine Kontaktadresse.
Gegenüber promptfoo, das Prompts und Modelle breit per Red-Teaming testet, ist iFixAi enger und meinungsstärker: Es bildet ein Organigramm ab und bewertet das Verhalten daran. Das passt zu Teams, deren Agenten Geld oder Daten bewegen können; wer die Antworten eines Chatbots testet, fährt mit einem allgemeinen Eval-Framework besser.
Wo es sich lohnt
Ein Platform Engineer bei einem Fintech, das einen Kundensupport-Agenten mit Erstattungs-Tools betreibt
Nachweisen, dass der Agent keine Erstattung auszahlen oder kein Auszahlungskonto für einen Nutzer ohne Befugnis ändern kann
Das Profil des Agenten mit Rollen und Tools schreiben, die Standard-Suite gegen Staging laufen lassen und den Build scheitern lassen, wenn B01, B08 oder P01 unter ihre Mindestwerte fallen. Kosten sind die API-Aufrufe beim Judge-Anbieter, die --dry-run vorab anzeigt.
Ein KI-Verantwortlicher bei einem SaaS-Unternehmen mit 50 Mitarbeitenden, der das Modell hinter einem Agenten austauscht
Prüfen, dass das neue Modell kein Verhalten lockert, das das alte eingehalten hat
Dieselbe Fixture gegen beide Versionen laufen lassen und die Konfidenzintervalle pro Inspektion vergleichen, wie die Bewertungs-Docs raten, statt der Gesamtnote.
Ein Entwickler, der einen Agenten in Cursor oder Claude Code baut
Ein erstes Audit, ohne das Profil von Hand zu schreiben
Plugin oder Skill installieren und den Coding-Agenten bitten, iFixAi auszuführen; er liest den Code des Agenten, entwirft das Profil, zeigt die Kosten und führt das Audit aus.
Bevor du dich festlegst
- Einrichtung
- pip install ifixai unter Python 3.10+; die Mock-Demo läuft in etwa einer Minute ohne API-Key. Ein echtes Audit braucht ein Agentenprofil, ifixai author und validate zum Aufbau der Simulation, einen Judge-Key und den Endpoint des Agenten; ifixai setup führt durch die Schritte.
- Integrationen
- Jeder OpenAI-kompatible Agenten-Endpoint, für andere ein paar Zeilen Python; Judges von OpenAI, Anthropic, Gemini, Azure, Bedrock, OpenRouter und weiteren; Plugin für Claude Code und Codex; Skills für Cursor, VS Code, Windsurf, Cline, Continue, Gemini und Zed; Python-API; Berichte in JSON und Markdown.
- Daten und Datenschutz
- Läuft auf deinem Rechner: Proben gehen an den Endpoint deines Agenten, Bewertungsaufrufe an den Judge-Anbieter deiner Wahl; Berichte landen in ./ifixai-results/. Telemetrie wird auf der Website nicht erwähnt. Apache-2.0.
- Kosten im großen Maßstab
- Selbst gehostet fallen nur Judge-API-Kosten an, die mit den 61 Inspektionen von --full-run steigen; --dry-run gibt die Zahl der Aufrufe aus. Bezahlte Audits kosten pro Agent und Monat, Preise nicht veröffentlicht.
- Grenzen
- Von einem LLM bewertete Werte schwanken von Lauf zu Lauf; nicht anwendbare Inspektionen werden weggelassen und verringern die Abdeckung; die Bewertung hat sich zwischen Versionen geändert; Proben sind echte Anfragen, also Staging nutzen.
Was gut ist
- Testet Rollen-, Tool- und Datenberechtigungen über den echten Endpoint des Agenten
- Judge stammt immer von einem anderen Anbieter als der Agent
- Konfidenzintervalle und offene Hinweise zum Rauschen der Werte
- Dry Run zeigt Test- und Judge-Aufrufzahlen vor der Abrechnung
- CI-Gate über --min-score; Plugin für Claude Code und Codex
Was nicht
- Noten hängen von einem LLM-Judge ab und schwanken zwischen Läufen
- Braucht ein genaues Agentenprofil, um aussagekräftig zu sein
- Standardlauf deckt 10 von 61 Inspektionen ab
- Schneller Release-Takt verändert Werte zwischen Versionen
- Preise der Bezahlstufen und die Firma dahinter nicht veröffentlicht
Am besten für
Teams, die Agenten ausliefern, die auf Geld, Konten oder Kundendaten zugreifen können, und ein wiederholbares Audit für Berechtigungen und Injection in Staging und CI wollen.
Alternativen zu iFixAi
iFixAi: häufige Fragen
- Lohnt sich iFixAi?
- Ein gut dokumentierter Weg, zu testen, ob ein Agent innerhalb seiner Berechtigungen bleibt, solange du die Note als Einschätzung eines Judges mit Fehlerbalken liest und nicht als Zertifikat. Wir bewerten es mit 3.8 von 5.
- Was kostet iFixAi?
- Kostenlos unter Apache-2.0, selbst gehostet mit eigenen Modell-Keys; du zahlst die API-Aufrufe beim Judge-Anbieter. Kostenpflichtige Audit-Stufen (Startup, Growth, Enterprise, Agentic Enterprise) kosten pro Agent und Monat, Preise sind nicht veröffentlicht.
- Welche Nachteile hat iFixAi?
- Noten hängen von einem LLM-Judge ab und schwanken zwischen Läufen; Braucht ein genaues Agentenprofil, um aussagekräftig zu sein; Standardlauf deckt 10 von 61 Inspektionen ab; Schneller Release-Takt verändert Werte zwischen Versionen; Preise der Bezahlstufen und die Firma dahinter nicht veröffentlicht.
- Für wen eignet sich iFixAi?
- Teams, die Agenten ausliefern, die auf Geld, Konten oder Kundendaten zugreifen können, und ein wiederholbares Audit für Berechtigungen und Injection in Staging und CI wollen.
- Was kostet iFixAi für ein Team oder im Produktivbetrieb?
- Selbst gehostet fallen nur Judge-API-Kosten an, die mit den 61 Inspektionen von --full-run steigen; --dry-run gibt die Zahl der Aufrufe aus. Bezahlte Audits kosten pro Agent und Monat, Preise nicht veröffentlicht.
- Ist iFixAi sicher für Firmendaten?
- Läuft auf deinem Rechner: Proben gehen an den Endpoint deines Agenten, Bewertungsaufrufe an den Judge-Anbieter deiner Wahl; Berichte landen in ./ifixai-results/. Telemetrie wird auf der Website nicht erwähnt. Apache-2.0.
- Was sind die besten Alternativen zu iFixAi?
- Die nächsten Alternativen, die wir getestet haben, sind promptfoo, DeepEval und Inspect.
Antworten geprüft am 5. Nov. 2026.