promptfooとは？
promptfooは、LLMアプリケーションをテストするためのコマンドラインツールおよびライブラリです。YAMLファイル内にプロンプト、プロバイダー、テストケースを記述すると、それらを実行して比較マトリクスを表示します。
レッドチーム機能も提供しており、敵対的な入力を生成して、プロンプトインジェクション、脱獄、データ漏洩、安全でないツール利用を検出します。OpenAI、Anthropic、Google、オープンソースプロバイダーのモデルに対応し、CIパイプラインに統合できます。
2026年3月9日、OpenAIはpromptfooの買収に合意したと発表しました。企業向けエージェントプラットフォームであるOpenAI Frontierにその技術を組み込む計画であり、プロジェクトは現行のMITライセンスの下でオープンソースとして維持されるとしています。PromptfooのAboutページには同社がOpenAIの傘下にあると記載されていますが、買収完了日は公表されていません。取引の完了に関する公式発表は確認されていません。
promptfooは使う価値があるか？
promptfooは、LLMのテストが全くない状態からCIでのテスト導入に至る最短の手段です。2026年3月にはOpenAIによる買収に合意しました。同社のモデルは、多くのチームが本ツールで評価対象としています。GitHubスター数は約26,500件で、npmパッケージは2026年10月25日に0.125.1に達しました。promptfooの自社サイトでも、現在はOpenAIの一部であると記載されています。セットアップはYAML設定ファイル、アサーションを含むいくつかのテストケース、そして1つのコマンドで完了します。
多くの評価ライブラリと一線を画しているのがレッドチーム機能です。プロンプトインジェクション、脱獄、データ持ち出しの攻撃を生成し、防御を突破したものを報告します。注意点は、それらの攻撃がどこで生成されるかです。生成処理はデフォルトでpromptfooのホスト型サービス上で実行され、無料のCommunityプランではレッドチーム機能が月間10,000回のプローブに制限されています。オフラインで使用する場合は、PROMPTFOO_DISABLE_REMOTE_GENERATIONを設定し、ローカルモデルを指定する必要があります。
デフォルト設定には確認が必要です。CLIはPROMPTFOO_DISABLE_TELEMETRYが設定されていない限り利用状況のテレメトリを送信し、ログインしている場合はユーザーIDとメールアドレスが含まれます。ただし、プロンプト、出力、キーは含まれません。セルフホスト型のウェブビューアーは明確に本番運用向けではないとされています。ローカルのSQLiteデータベースを使用しており、組み込みの認証機能はなく、複数レプリカで実行すると動作しなくなります。共有ダッシュボード、SSO、継続的モニタリングは、価格非公開のEnterprise向け機能です。
OpenAIは、promptfooが引き続きMITライセンスを維持し、他のプロバイダーへの対応を継続すると述べています。競合のRepelloは発表の2か月後に、CLIと設定スキーマに変更はないと報告しつつ、評価対象であるベンダー自身が評価ツールを所有することを企業が望むのかという疑問を投げかけました。研究目的のベンチマークにはInspectやLM Evaluation Harnessの方が適しており、Pythonを扱うチームにとっては、Node.js 22を必要とするツールよりもDeepEvalのpytestスタイルの方が自然に感じられる可能性があります。
真価を発揮する場面
RAGサポートボットを保守するバックエンドエ ンジニア
プロンプトやモデルの変更時にリグレッションを検知すること
実際の顧客からの質問とアサーションを記述したpromptfooconfig.yamlを保持し、すべてのプルリクエストでGitHub Actionsからpromptfoo evalを実行します。ツール自体は無料です。実行ごとに、テストケース数、比較対象のプロバイダー数、モデル評価によるアサーションに応じたモデルトークン費用が発生します。
ツール連携エージェントをリリースするフィンテック企業のアプリケーションセキュリティ責任者
リリース前にエージェントに対してプロンプトインジェクションとデータ持ち出しのレッドチーム検証を実施すること
ステージング環境のエンドポイントに対してpromptfoo redteamを実行します。Communityプランでは月間10,000回のプローブが提供されます。リモート生成を無効化してローカルモデルを使用しない限り、攻撃の生成はpromptfooのホスト型サービスを経由するため、アプリケーションの記述内容に機密性がある場合は配慮が必要です。
10個以上のLLMアプリを管理する銀行のAIガバナンス責任者
すべてのアプリにわたって再現性のあるセキュリティテストを監査人に提示すること
EnterpriseまたはOn-Premiseを 導入することで、共有ダッシュボード、SSO、検索可能なスキャン履歴、コンプライアンスフレームワークのレポート機能が追加されます（個別見積もり）。現在、調達における主な論点は機能一覧ではなく、OpenAIによる所有とロードマップにあります。
導入前に確認すること
- 導入
- Node.js 22.22以降でnpx promptfoo@latest initを実行するか、グローバルにnpm installを行います。生成されたYAMLにより、数分で最初のevalを実行できます。
- 連携
- プロバイダーにはOpenAI、Anthropic、Googleのほか、OllamaまたはカスタムHTTPターゲット経由のローカルモデルが含まれます。GitHub ActionsなどのCIで実行可能です。個別のコードスキャンアクションやMCPプロキシ製品も提供されています。
- データとプライバシー
- 利用状況のテレメトリはデフォルトで有効になっており、ログイン時にはユーザーIDとメールアドレスが含まれますが、プロンプトや出力は含まれません。PROMPTFOO_DISABLE_REMOTE_GENERATIONが設定されていない限り、レッドチームの生成にはホスト型サービスが使用されます。結果はローカルのSQLiteデータベースに保持されます。MITライセンスです。
- 大規模利用時のコスト
- CLIは無料です。発生する費用はモデルトークン代であり、おおむねテストケース数×プロバイダー数×実行ごとの試行回数に、モデル評価によるアサーション分を加えたものになります。月間10,000回を超えるレッドチームのプローブ、共有ダッシュボード、SSOを利用するには、個別見積もりのEnterpriseが必要です。
- 制限
- 未解決のIssueおよびプルリクエストが約840件あります。セルフホストサーバーは単一レプリカを超えてスケールできず、認証機能もありません。学術的なベンチマーク実行ツールとしては設計されていません。
良い点
- 1つのコマンドでCI上で実行できるYAMLテスト
- インジェクションやデータ漏洩に対応する幅広いレッドチームプラグイン
- OpenAI、Anthropic、Google、ローカルモデルに対応
- MITライセンス
気になる点
- モデルベンダーであるOpenAIが所有
- テレメトリとホスト型攻撃生成がデフォルトで有効
- セルフホスト型ビューアーに認証機能とスケー ラビリティが欠如
- Node.js 22.22以降が必要
おすすめの人
CIにおいてリグレッションテストとセキュリティスキャンを導入したい、LLMアプリを提供するチームに適しています。
promptfooの代替
promptfoo：よくある質問
- promptfooは使う価値があるか？
- promptfooは、LLMのリグレッションテストとレッドチームスキャンをYAMLファイルと1つのCIコマンドに集約します。新たな所有者が注視すべき点です。 評価は5点満点中4.5点です。
- promptfooの料金は？
- CLIは無料かつオープンソース（MIT）です。Community利用には月間最大10,000回のプローブを含むレッドチーム機能が含まれます。Enterprise（マネージドクラウド）およびOn-Premiseは個別見積もりです。
- promptfooの欠点は？
- モデルベンダーであるOpenAIが所有; テレメトリとホスト型攻撃生成がデフォルトで有効; セルフホスト型ビューアーに認証機能とスケーラビリティが欠如; Node.js 22.22以降が必要.
- promptfooは誰に向いているか？
- CIにおいてリグレッションテストとセキュリティスキャンを導入したい、LLMアプリを提供するチームに適しています。
- チームや本番環境でpromptfooを使うと費用はいくらか？
- CLIは無料です。発生する費用はモデルトークン代であり、おおむねテストケース数×プロバイダー数×実行ごとの試行回数に、モデル評価によるアサーション分を加えたものになります。月間10,000回を超えるレッドチームのプローブ、共有ダッシュボード、SSOを利用するには、個別見積もりのEnterpriseが必要です。
- promptfooは企業データを扱っても安全か？
- 利用状況のテレメトリはデフォルトで有効になっており、ログイン時にはユーザーIDとメールアドレスが含まれますが、プロンプトや出力は含まれません。PROMPTFOO_DISABLE_REMOTE_GENERATIONが設定されていない限り、レッドチームの生成にはホスト型サービスが使用されます。結果はローカルのSQLiteデータベースに保持されます。MITライセンスです。
- promptfooの代わりになるものは？
- 当サイトでレビューした中で最も近い代替はDeepEval, Inspect 、 Ragasです。
回答確認日：2026年10月26日