iFixAiとは？
iFixAiは、背後のモデルではなく、デプロイ済みのAIエージェントそのものを監査します。プロファイルにエージェントの役割、ツール、ポリシーを記述すると、iFixAiはその周りに模擬企業を構築し、エージェントのチャットエンドポイント経由で依頼を送ります。その中には権限昇格、指示の注入、他のユーザーのデータの取得を試みるものも含まれます。エージェントとは別のプロバイダーのジャッジモデルが各応答を採点し、すべての指摘には何を依頼し、エージェントが何をしたかが示されます。
標準の実行は10項目の検査で、そのうち3つは必須の最低基準(ツールのガバナンス、権限昇格、破壊的操作)です。いずれかに不合格になると評価はDが上限になります。結果は5つの重み付けされた柱(捏造、操作、欺瞞、予測不能性、不透明性)にわたるAからFの評価で、JSONとMarkdownのレポート、CI用の--min-scoreフラグが付きます。--full-runは61項目すべての検査を実行し、適用できないものは除外します。
pip install ifixai(Python 3.10+)でインストールでき、Claude CodeとCodexのプラグイン、Cursor、VS Code、Windsurf、Zedなど向けのスキルとしても提供されています。エンジンはApache-2.0で、同じチームがifixai.aiでエージェント単位・月単位の監査を販売しています。
iFixAiは使う価値があるか？
iFixAiは、多くの評価スイートが見落とす点を試します。ツールと役割を持つエージェントが、役割で許されたことだけをするかどうかです。ベンチマークはモデルを採点しますが、iFixAiはサポートエージェントに、マネージャーがすでに却下した返金や、振込先口座の変更依頼を送り、実際に何をするかを確認します。3つの必須の最低基準(B01ツールのガバナンス100%、B08権限昇格95%、P01破壊への耐性100%)は、実害が起きる場所を反映しています。
採点のドキュメントは珍しく率直です。各検査にはWilsonの95%信頼区間が付き、ドキュメントは生の差ではなく区間の重なりで実行同士を比べるよう指示し、しきい値から0.12以内の単発のB24スコアはノイズだと警告しています。規制関連のサマリーはコンプライアンスを証明するものではないとも明言しています。採点はLLMジャッジに依存するため、同じエージェントでも2回の実行で結果が変わりえます。プロバイダーを分けるルールは、エージェント自身のベンダーが自分の答案を採点するのを避けるだけです。
勢いは強いです。リポジトリは2026年4月27日に作成され、スターは43,497、フォークは1,779です。PyPIの履歴は6月23日の3.0.2に始まり、10月22日にv4.3.0に達しました。プルリクエストは毎日マージされ、その多くは証拠の検証と報告の方法を強化するものです。これはバージョン間でレポート形式やスコアが変わることも意味し、ドキュメントは古い見出しを比べるのではなく、古い対象を再実行するよう勧めています。
注意点：セット アップと範囲です。有用な監査には、実際の役割とツールに合ったプロファイルを手で、またはエージェントに書かせる必要があり、標準の実行は10項目の検査しか対象にしません。61項目すべてではジャッジの呼び出しが増えます。プローブは実際の依頼なので、READMEはステージング環境のコピーに向けるよう述べています。サイトではREADMEの61項目に対して60項目と記載され、有料プランの背後にある会社名は示されず、連絡先アドレスだけがあります。
プロンプトとモデルを幅広くレッドチーミングするpromptfooと比べると、iFixAiは範囲が狭く、考え方がはっきりしています。組織図をコード化し、それに照らして振る舞いを採点します。エージェントがお金やデータを動かせるチームには合いますが、チャットボットの回答を試すチームには汎用の評価フレームワークのほうが役立つでしょう。
真価を発揮する場面
返金ツールを持つカスタマーサポートエージェントを運用するフィンテック企業のプラットフォームエンジニア
権限のないユーザーに対してエージェントが返金や振込先口座の変更をできないことを証明する
役割とツールを含むエージェントのプロファイルを書き、ステージングに対して標準スイートを実行し、B01、B08、P01のいずれかが最低基準を下回ったらビルドを失敗させます。費用はジャッジのプロバイダーのAPI呼び出しで、 事前に--dry-runで確認できます。
エージェントの背後のモデルを入れ替える50人規模のSaaS企業のAIリード
新しいモデルが、旧モデルが守っていた振る舞いを緩めていないか確かめる
同じフィクスチャを両方のバージョンに対して実行し、採点ドキュメントの勧めに従って、見出しの評価ではなく検査ごとの信頼区間を比べます。
CursorやClaude Codeでエージェントを作る開発者
プロファイルを手で書かずに最初の監査を受ける
プラグインかスキルをインストールし、コーディングエージェントにiFixAiの実行を頼みます。エージェントのコードを読み、プロファイルを下書きし、費用を示してから監査を実行します。
導入前に確認すること
- 導入
- Python 3.10+でpip install ifixai。モックのデモはAPIキーなしで約1分で動きます。実際の監査にはエージェントのプロファイル、シミュレーションを構築するifixai authorとvalidate、ジャッジのキー、エージェントのエンドポイントが必要で、ifixai setupが手順を案内します。
- 連携
- OpenAI互換のエージェントエンドポイントなら何でも、それ以外は数行のPythonで対応。OpenAI、Anthropic、Gemini、Azure、Bedrock、OpenRouterなどのジャッジ。Claude CodeとCodexのプラグイン。Cursor、VS Code、Windsurf、Cline、Continue、Gemini、Zed向けのスキル。Python API。JSONとMarkdownのレポート。
- データとプライバシー
- 自分のマシンで動きます。プローブは自分のエージェントのエンドポイントへ、採点の呼び出しは選んだジャッジのプロバイダーへ送られ、レポートは./ifixai-results/に書き出されます。サイトではテレメトリーに触れていません。Apache-2.0。
- 大規模利用時のコスト
- セルフホストの費用はジャッジのAPI利用料で、--full-runの61項目の検査で増えます。--dry-runが呼び出し数を表示します。有料の監査はエージェント単位・月単位で、価格は非公開です。
- 制限
- LLMで採点したスコアには実行ごとのノイズがあります。適用できない検査は除外され、カバー範囲が減ります。採点方法はバージョン間で変わってきました。プローブは実際の依頼なので、ステージングを使ってください。
良い点
- エージェントの実際のエンドポイント経由で役割、ツール、データの権限を試す
- ジャッジは常にエージェントとは別のプロバイダー
- 信頼区間とスコアのノイズについての率直な注記
- ドライランで課金前にテスト数とジャッジ呼び出し数がわかる
- --min-scoreによるCIゲー ト、Claude CodeとCodexのプラグイン
気になる点
- 評価はLLMジャッジに依存し、実行ごとに変わる
- 意味のある結果には正確なエージェントプロファイルが必要
- 標準の実行は61項目中10項目の検査のみ
- リリースの速さでバージョン間のスコアが変わる
- 有料プランの価格と運営会社が非公開
おすすめの人
お金、アカウント、顧客データを操作できるエージェントを出荷し、ステージングとCIで再現可能な権限と注入の監査をしたいチーム。
iFixAiの代替
iFixAi：よくある質問
- iFixAiは使う価値があるか？
- エージェントが権限の範囲内にとどまるかを試す、よく文書化された手段です。ただし評価は証明書ではなく、誤差を伴うジャッジの意見として読む必要があります。 評価は5点満点中3.8点です。
- iFixAiの料金は？
- Apache-2.0で無料、自分のモデルキーでセルフホストします。ジャッジのプロバイダーのAPI呼び出し料金は自己負担です。有料の監査プラン(Startup、Growth、Enterprise、Agentic Enterprise)はエージェント単位・月単位の課金で、価格は公開されていません。
- iFixAiの欠点は？
- 評価はLLMジャッジに依存し、実行ごとに変わる; 意味のある結果には正確なエージェントプロファイルが必要; 標準の実行は61項目中10項目の検査のみ; リリースの速さでバージョン間のスコアが変わる; 有料プランの価格と運営会社が非公開.
- iFixAiは誰に向いているか？
- お金、アカウント、顧客データを操作できるエージェントを出荷し、ステージングとCIで再現可能な権限と注入の監査をしたいチーム。
- チームや本番環境でiFixAiを使うと費用はいくらか？
- セルフホストの費用はジャッジのAPI利用料 で、--full-runの61項目の検査で増えます。--dry-runが呼び出し数を表示します。有料の監査はエージェント単位・月単位で、価格は非公開です。
- iFixAiは企業データを扱っても安全か？
- 自分のマシンで動きます。プローブは自分のエージェントのエンドポイントへ、採点の呼び出しは選んだジャッジのプロバイダーへ送られ、レポートは./ifixai-results/に書き出されます。サイトではテレメトリーに触れていません。Apache-2.0。
- iFixAiの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はpromptfoo, DeepEval 、 Inspectです。
回答確認日：2026年11月5日